运动扩散引导的来自动态相机的3D全局人体网格重建

动作捕捉技术通过提供精细捕捉和分析人体运动的工具，已经改变了从电影和游戏行业到运动科学和医疗保健的众多领域。单目全局人体网格与运动重建（GHMR）的终极目标是，对于任何由动态相机在野外拍摄的单目视频，达到与传统多视角捕捉相当的精度。这是一项具有挑战性的任务，因为单目输入存在固有的深度模糊性，而移动的相机增加了额外的复杂性，因为渲染的人体运动现在是人体运动和相机运动共同作用的结果。由于没有考虑到这种混淆，现有的GHMR方法常常输出不真实的运动，例如，未考虑的人体根平移导致脚部滑动。我们提出了DiffOpt，一种使用扩散优化的新型3D全局HMR方法。我们的关键洞察是，人体运动生成领域的最新进展，例如运动扩散模型（MDM），包含了对连贯人体运动的强先验。我们方法的核心是使用MDM先验来优化初始运动重建。这一步可以产生更全局连贯的人体运动。我们的优化联合优化了运动先验损失和重投影损失，以正确解耦人体运动和相机运动。我们使用来自野外全局3D人体姿态与形状电磁数据库（EMDB）和Egobody的视频序列验证了DiffOpt，并展示了其在长视频场景中，相较于其他最先进的全局HMR方法，具有优越的全局人体运动恢复能力。