人人处处动捕：基于智能手表和头戴摄像头的轻量级运动捕捉

我们提出一种基于两个智能手表和头戴摄像头的轻量级、低成本运动捕捉方法。与现有使用六个或更多专业级IMU设备的方法相比，我们的方法更具成本效益和便利性。我们的方法可以使可穿戴运动捕捉普及到每个人、每个地方，实现多样化环境中的3D全身运动捕捉。作为克服不同模态传感器输入的极端稀疏性和模糊性的关键思想，我们集成从头戴摄像头获得的6D头部姿态用于运动估计。为了在广阔的室内外场景中实现捕捉，我们提出一种算法来跟踪和更新地板水平变化以定义头部姿态，并结合多阶段基于Transformer的回归模块。我们还引入利用自我中心图像视觉线索的新策略，进一步提高运动捕捉质量并减少模糊性。我们在各种具有挑战性的场景中展示了方法的性能，包括复杂的室外环境和日常运动，如物体交互和多人社交交互。