PhyMotion: 用于基于物理的人体视频生成的结构化3D运动奖励
计算机视觉与模式识别
2026-05-15 v1 人工智能
摘要
生成逼真的人体运动是视频生成中一个核心但尚未解决的挑战。虽然基于强化学习(RL)的后训练推动了通用视频质量的近期提升,但将其扩展至人体运动仍受限于无法可靠评估运动真实性的奖励信号。现有的视频奖励主要依赖2D感知信号,没有显式地对铰接式人体运动背后的3D身体状态、接触和动力学进行建模,并且经常为具有悬浮身体或物理上不合理运动的视频打高分。为了解决这个问题,我们提出了 PhyMotion,一种结构化、细粒度的运动奖励,它将恢复出的3D人体轨迹置于物理模拟器中,并沿着物理可行性的多个维度评估运动质量。具体而言,我们从生成的视频中恢复 SMPL 身体网格,将其重定向到 MuJoCo 物理模拟器中的人形机器人上,并沿着三个轴线评估生成的运动:运动学合理性、接触与平衡一致性,以及动力学可行性。每个组件都提供了与运动质量特定方面相关的连续且可解释的信号,使得该奖励能够捕捉运动的哪些方面在物理上是正确或被违背的。实验表明,PhyMotion 与人类判断的相关性比现有奖励公式更强。这些优势延续到了基于强化学习的后训练中,其中优化 PhyMotion 带来了比优化现有奖励更大且更一致的改进,在自动指标和盲测人类评估下均提升了自回归和双向视频生成器的运动真实性(Elo 提升 +68)。消融实验表明,这三个轴线提供了互补的监督信号,同时该奖励仅以适度的训练开销保持了整体视频生成质量。
引用
@article{arxiv.2605.14269,
title = {PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation},
author = {Yidong Huang and Zun Wang and Han Lin and Dong-Ki Kim and Shayegan Omidshafiei and Jaehong Yoon and Jaemin Cho and Yue Zhang and Mohit Bansal},
journal= {arXiv preprint arXiv:2605.14269},
year = {2026}
}
备注
First two authors contributed equally, website: https://phy-motion.github.io/