我们不止于关节：预测 3D 人体如何运动
计算机视觉与模式识别
2021-04-05 v2
摘要
理解人类行为的关键一步是预测 3D 人体运动。成功的解决方案在 human tracking、HCI 与图形学中有诸多应用。以往多数工作聚焦于给定过去一段 3D 关节序列，预测未来的 3D 关节位置时间序列。这一欧几里得表述通常优于以关节旋转预测姿态。然而，身体关节位置并未完全约束 3D 人体姿态，留下了未定义的自由度，使得仅从关节难以驱动逼真的人体。需注意，3D 关节可视为稀疏点云。因此人体运动预测问题可看作点云预测。基于该观察，我们转而预测身体表面上对应动作捕捉标记的一稀疏位置集合。给定此类标记，我们拟合参数化身体模型以恢复人的 3D 形状与姿态。这些稀疏表面标记还携带了关节中不存在的关于人体运动的细节信息，提升了预测运动的自然度。利用 AMASS 数据集，我们训练了 MOJO——一种从潜频率生成运动的新型变分自编码器。MOJO 保留输入运动的完整时间分辨率，且从潜频率采样显式地将高频分量引入生成的运动。我们注意到运动预测方法随时间累积误差，导致关节或标记偏离真实人体。为此，我们在每个时间步将 SMPL-X 拟合至预测结果，将解投影回有效人体空间。这些有效标记随后随时间传播。实验表明，我们的方法取得了 state-of-the-art 结果与逼真的 3D 身体动画。用于研究的代码见 https://yz-cnsdqz.github.io/MOJO/MOJO.html
引用
@article{arxiv.2012.00619,
title = {We are More than Our Joints: Predicting how 3D Bodies Move},
author = {Yan Zhang and Michael J. Black and Siyu Tang},
journal= {arXiv preprint arXiv:2012.00619},
year = {2021}
}
备注
camera ready, cvpr