PhysHMR：从视觉学习具身控制策略以实现物理合理的人体运动重建
计算机视觉与模式识别
2025-10-06 v1
摘要
从单目视频中重建物理合理的人体运动仍然是计算机视觉与图形学中的一个挑战性问题。现有方法主要侧重于基于运动学的姿态估计，由于缺乏物理约束，往往导致不真实的结果。为了解决此类伪影，先前的方法通常在初始的基于运动学的运动估计之后，依赖基于物理的后处理。然而，这种两阶段设计引入了误差累积，最终限制了整体重建质量。在本文中，我们提出 PhysHMR，一个统一的框架，直接在基于物理的模拟器中学习用于具身控制的视觉到动作策略，从而实现既具物理基础又与输入视频视觉对齐的运动重建。我们方法的一个关键组件是像素即射线策略，该策略将2D关键点提升为3D空间射线并将其转换至全局空间。这些射线被整合为策略输入，在不依赖含噪3D根节点预测的情况下提供稳健的全局姿态引导。这种软全局接地结合来自预训练编码器的局部视觉特征，使策略能够对详细姿态与全局定位进行推理。为克服强化学习的样本低效性，我们进一步引入一种蒸馏方案，将运动知识从动捕训练的专家迁移至视觉条件策略，随后使用物理驱动的强化学习奖励对其进行优化。大量实验表明，PhysHMR 在多种场景下产生高保真、物理合理的运动，在视觉准确性与物理真实性上均优于先前方法。
引用
@article{arxiv.2510.02566,
title = {PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction},
author = {Qiao Feng and Yiming Huang and Yufu Wang and Jiatao Gu and Lingjie Liu},
journal= {arXiv preprint arXiv:2510.02566},
year = {2025}
}