基于 Garment-aware 扩散模型从松散稀疏惯性传感器获取人体运动捕捉

使用稀疏惯性传感器进行运动捕捉因其便携性和不受遮挡问题而显示出巨大的潜力。而现有方法通常假设 IMU 传感器紧密固定在人体上，但这在现实场景中往往不成立。本文提出了 Garment Inertial Poser (GaIP)，一种从稀疏且松散固定的 IMU 传感器估计全身姿态的方法。我们首先使用现有面向服装的 human motion 数据集模拟 IMU 记录。基于 transformer 的扩散模型合成松散 IMU 数据，并从这类具有挑战性的松散 IMU 数据估计人体姿态。我们还展示，在训练松散 IMU 数据时融入服装相关参数，能够有效保持表达力并增强捕捉松装或紧装服装引起变化的能力。我们的实验表明，基于模拟和合成数据训练的扩散方法在定量和定性方面均优于现有最先进的惯性全身姿态估计器，为未来从如此真实的传感器放置进行运动捕捉指明了前景。