MoManifold：通过解耦关节加速度流形学习测量三维人体运动
计算机视觉与模式识别
2024-09-04 v1
摘要
有效融入时间信息对于精确的三维人体运动估计与生成至关重要，这些任务在人机交互到 AR/VR 等领域有着广泛应用。本文提出 MoManifold，一种新颖的人体运动先验，它在连续高维运动空间中对合理的人体运动进行建模。与现有的数学方法或基于 VAE 的方法不同，我们的表示基于神经距离场设计，这使得人体动力学被显式量化为一个分数，从而能够衡量人体运动的合理性。具体而言，我们提出新颖的解耦关节加速度流形，从现有的有限运动数据中建模人体动力学。此外，我们引入一种以流形距离为指导的新型优化方法，有助于完成各种运动相关任务。大量实验表明，MoManifold 作为先验，在多个下游任务中优于现有 SOTA，例如对真实世界人体动作捕捉数据进行去噪、从部分三维观测中恢复人体运动、减轻基于 SMPL 的姿态估计器的抖动以及优化运动插值结果。
引用
@article{arxiv.2409.00736,
title = {MoManifold: Learning to Measure 3D Human Motion via Decoupled Joint Acceleration Manifolds},
author = {Ziqiang Dang and Tianxing Fan and Boming Zhao and Xujie Shen and Lei Wang and Guofeng Zhang and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2409.00736},
year = {2024}
}
备注
Accepted by BMVC 2024. Supplementary material is included at the end of the main paper (12 pages, 11 figures, 5 tables)