GraMMaR：面向三维人体运动重建的地面感知运动模型
计算机视觉与模式识别
2023-08-21 v3 人工智能
摘要
揭示复杂的人-地交互对于从RGB视频中准确且真实地重建三维人体运动至关重要，因为它能确保人体与地面平面之间的一致性。先前的方法要么隐式地、要么以稀疏方式建模人-地交互，在面对噪声和不确定性时常常导致不真实且不正确的运动。相比之下，我们的方法以密集且连续的方式显式表示这些交互。为此，我们提出了一种用于三维人体运动重建的新型地面感知运动模型，名为GraMMaR，它在运动序列的每个时间步联合学习每个关节与地面平面之间位姿及交互的转移分布。该模型经训练以显式促进运动与朝向地面的距离变化之间的一致性。训练后，我们建立了一种联合优化策略，将GraMMaR作为双重先验使用，将优化正则化至合理地面感知运动空间内。这实现了真实且连贯的运动重建，而与假设或学习得到的地面平面无关。通过在AMASS和AIST++数据集上的广泛评估，我们的模型在包含复杂且模糊的人-地交互的挑战性案例中展现出良好的泛化与判别能力。代码将发布于 https://github.com/xymsh/GraMMaR。
引用
@article{arxiv.2306.16736,
title = {GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction},
author = {Sihan Ma and Qiong Cao and Hongwei Yi and Jing Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2306.16736},
year = {2023}
}
备注
Accepted to ACM Multimedia 2023. The code will be available at https://github.com/xymsh/GraMMaR