DivaTrack：来自加速度增强的三点追踪器的多样化身体与动作

全身虚拟化身存在对于数字现实中的沉浸式社交和环境互动至关重要。然而，当前设备仅提供来自头显和两个控制器的三个六自由度（DOF）姿态（即三点追踪器）。由于这是一个高度欠约束的问题，从这些输入推断全身姿态具有挑战性，尤其是在支持普通人群所代表的各种体型和使用场景时。在本文中，我们提出了一种深度学习框架 DivaTrack，其在应用于多样化体型和活动时优于现有方法。我们利用惯性测量单元（IMU）的线性加速度增强稀疏的三点输入，以改善足部接触预测。随后，我们在两阶段模型中利用足部接触和上半身姿态的预测来消除原本模糊的下半身姿态的条件限制。我们进一步通过学习融合在两个参考系中计算的预测来稳定各种配置下的推断全身姿态，每个参考系均针对不同类型的运动设计。我们在一个大型数据集上展示了我们设计的有效性，该数据集捕捉了 22 名受试者执行针对三点追踪具有挑战性的运动，包括弓步、呼啦圈和坐姿。正如使用 Meta VR 头显和 Xsens IMU 进行的实时演示所示，我们的方法能够实时运行，同时在用户执行多样化的一组动作时准确追踪其运动。