深度惯性姿态估计器：从稀疏惯性测量中实时重建人体姿态

我们展示了一种新颖的深度神经网络，能够从用户身上佩戴的 6 个惯性测量单元（IMU）实时重建人体全身姿态。在此过程中，我们解决了若干艰巨挑战。首先，该问题严重欠约束，因为多个姿态参数会产生相同的 IMU 朝向。其次，在许多目标应用场景（例如户外）中，采集 IMU 数据与真实姿态配对的数据昂贵且困难。第三，通过非线性优化建模时间依赖关系在先前工作中已被证明有效，但使得实时预测不可行。为解决这一重要局限，我们利用深度学习学习时间姿态先验。为从充足数据中学习，我们从动作捕捉数据集合成 IMU 数据。一种双向 RNN 架构利用了训练时可用的过去与未来信息。在测试时，我们以滑动窗口方式部署该网络，保持实时能力。为评估我们的方法，我们记录了 DIP-IMU，一个由 $10$ 名受试者佩戴 17 个 IMU、在 $64$ 个序列中包含 $330\,000$ 个时间瞬间用于验证的数据集；这构成了公开可用的最大 IMU 数据集。我们在多个数据集上定量评估了我们的方法，并展示了实时实现的结果。DIP-IMU 与代码可供研究使用。