Skeleton2Stage:基于奖励引导的物理可行舞蹈生成细调
计算机视觉与模式识别
2026-02-17 v1
摘要
尽管舞蹈生成方法取得了进展,大多数方法在骨架域中训练,忽略了网格层面的物理约束。结果是,虽然作为关节轨迹看起来合理的动作,在运用人体网格可视化后,却出现身体自穿透和脚底-地面接触(Foot-Ground Contact, FGC)异常,降低了生成舞蹈的审美吸引力,限制了其实际应用。我们通过从人体网格中派生物理奖励,并应用强化学习细调(RLFT)来引导扩散模型在网格可视化下生成符合物理法则的动作。我们的奖励设计包括(i)一种模仿奖励,通过物理模拟器中动作的可模仿性来衡量其普遍合理性(惩罚穿透和脚步滑行),以及(ii)一种脚底-地面偏差(Foot-Ground Deviation, FGD)奖励,利用测试时FGD引导更好地捕捉舞蹈中动态的脚底-地面相互作用。然而,我们发现物理奖励倾向于引导模型生成较少的运动动态以减少物理异常并提高可模仿性。为缓解此问题,我们提出了反冻结奖励,以在保持物理可行性的同时维持运动动态。实验在多个舞蹈数据集上一致表明,我们的方法可显著提高生成动作的物理可行性,产生更真实、更具审美魅力的舞蹈。项目页面地址:https://jjd1123.github.io/Skeleton2Stage/。
引用
@article{arxiv.2602.13778,
title = {Skeleton2Stage: Reward-Guided Fine-Tuning for Physically Plausible Dance Generation},
author = {Jidong Jia and Youjian Zhang and Huan Fu and Dacheng Tao},
journal= {arXiv preprint arXiv:2602.13778},
year = {2026}
}