融合未标定 IMU 与手持智能手机视频以重建膝关节运动学

视频和可穿戴传感器数据提供了关于人类运动的互补信息。视频提供了对世界中整个身体的整体理解，而可穿戴传感器提供了特定身体部位的高分辨率测量。融合这些模态并获得生物力学上准确运动学的稳健方法将对临床评估和监测具有重大实用价值。虽然存在多种视频-传感器融合方法，但大多数方法假设已经执行了耗时的且通常脆弱的传感器-身体标定过程。在这项工作中，我们提出了一种以全时间分辨率结合手持智能手机视频和未标定可穿戴传感器数据的方法。我们仅基于单目视频的生物力学重建已经表现良好，与无标记动作捕捉相比，在行走期间膝关节仅有几度的误差。从视频和可穿戴传感器数据的融合进行重建进一步减少了这种误差。我们在步态正常者、下肢假肢使用者以及有中风病史的人群中对此进行了验证。我们还表明，传感器数据允许在视觉遮挡期间进行追踪。