基于多模态数据优化的康复场景专用姿态识别算法研发
最受欢迎奖资助企业：
上海探势健康科技有限公司
企业导师： 殷锐清
指导教师： Peter Bradley Shull
项目成员： 谭元硕 钟李骋 刘国兴 何鑫园
项目海报
项目视频
项目简介
项目概述
近年来，职场、学业压力大导致疼痛普遍。在供给端，现存解决方案不足。公立医院康复科、疼痛科发展不健全，缺口巨大，私立康复机构疗程费用高，选择健身房则面临不专业、不安全等问题。越来越多的人将目光聚焦于远程居家康复，通过互联网和相关技术，在家中接受医疗康复服务。
目前，已有的一种商业模式是通过付费小程序，结合预录视频和人体姿态识别算法对患者进行交互式的指导。然而，通用的开源姿态识别算法在数字化康复训练和指导的场景中具有精度较低、鲁棒性差、需全身入镜等问题，亟需解决。本项目致力于收集康复动作专用数据集，设计并优化数字化康复场景下的姿态识别算法。
项目目标
现有的通用开源姿态识别算法在数字化康复训练和指导的场景中具有精度较低、鲁棒性差、需全身入镜等问题，亟需解决。为了解决该问题，本项目将于从两个方面进行努力。
首先，本项目致力于收集康复动作专用数据集，填补领域空缺。本项目将构建数据内容丰富、数据标注精确、具有康复场景特色的专有人体姿势数据集，为后续领域内相关算法的研究开发提供鼎力支持。
其次，本项目将设计并优化数字化康复场景下的姿态识别算法，利用现存的公开数据集与本项目的康复动作专有数据集，充分调研现存人体姿态识别算法，设计并实现新的姿态识别算法，致力于优化人体姿态识别算法在康复场景下的性能表现。
项目成果
本项目收集了首个聚焦于康复动作的人体姿态数据集：3DHRP(3D Human Rehabilitaion Pose)，结合Vicon动作捕捉系统和Visual 3D软件获得精确3D人体姿态真值。数据集包含了10名被试、22个康复动作，具备单目图像和2D、3D、IMU标签，共计35万张图片。本项目填补了领域内人体康复动作数据集的空缺，对后续基于康复场景下人体姿势识别算法的开发研究具有重要的意义。
本项目提出了PETP(Point Embedded Transformer Pose)、 HybridTHP(Hybrid Temporal Human Pose)、 UVPHP(UV Prior Human Pose)、 KPBHP(Keypoints-Based Human Pose)四种算法，结合了二维热力图平面坐标预测、三维空间位置嵌入等方法，与领域内的现存方法相比，实现了更好的姿势识别效果。
