立体-惯性姿态估计：使用稀疏IMU和单摄像机实现度量精确的形状感知运动捕捉

近期的视觉-惯性运动捕捉系统的进展表明，将单目摄像机与稀疏惯性测量单元（IMU）组合作为成本效益解决方案具有潜力，这些系统有效缓解了单一模态系统固有的遮挡和漂移问题。然而，这些系统仍受限于来自单目深度模糊的全局平移度量不准问题，以及忽略人体测量差异导致的形状不敏感的局部运动估计问题。我们提出了Stereo-Inertial Poser，一种实时运动捕捉系统，利用单个立体摄像机和六个IMU来估计度量精确且形状感知的3D人体运动。通过用立体视觉取代单目RGB，我们的系统通过已校准的基线几何解决深度模糊，实现直接的3D关键点提取和身体形状参数估计。IMU数据和视觉线索被融合，用于预测漂移补偿的关节位置和根运动，同时引入一种新颖的形状感知融合模块，动态地将人体测量差异与全局平移相调和。我们的端到端管道在不进行基于优化的后处理的情况下即可实现200 FPS，以实现实时部署。定量评估显示我们的方法在各种数据集上实现了最先进的性能。定性结果表明，我们的方法在持续录制时间下产生漂移自由的全局平移，并显著减少脚部滑行效应。