Motion-2-To-3：利用 2D 运动数据生成 3D 运动
计算机视觉与模式识别
2026-05-20 v2 图形学
摘要
文本驱动的人体运动合成已展现出其彻底改变电影和游戏行业中运动设计的潜力。现有方法通常依赖于 3D 运动捕捉数据，这需要特殊的设置，导致数据获取成本高昂，最终限制了人体运动的多样性和范围。相比之下，2D 人体视频提供了丰富且易于获取的运动数据源，涵盖了更广泛的风格和活动。在本文中，我们探索使用从视频中提取的 2D 人体运动作为替代数据源，以改进文本驱动的 3D 运动生成。我们的方法引入了一个新颖的框架，将局部关节运动与全局运动解耦，从而能够从 2D 数据中高效学习局部运动先验。我们首先在大量文本-2D 运动对数据集上训练单视图 2D 局部运动生成器。然后我们使用 3D 数据对该生成器进行微调，将其转换为多视图生成器，以预测视图一致的局部关节运动和根节点动力学。在公认的基准数据集和全新文本提示上的评估表明，我们的方法能够高效利用 2D 数据，支持更广泛的逼真 3D 人体运动生成。我们的代码已在 https://zju3dv.github.io/Motion-2-to-3/ 公开。
引用
@article{arxiv.2412.13111,
title = {Motion-2-To-3: Leveraging 2D Motion Data for 3D Motion Generations},
author = {Ruoxi Guo and Huaijin Pi and Zehong Shen and Qing Shuai and Zechen Hu and Zhumei Wang and Yajiao Dong and Ruizhen Hu and Taku Komura and Sida Peng and Xiaowei Zhou},
journal= {arXiv preprint arXiv:2412.13111},
year = {2026}
}
备注
Project page: https://zju3dv.github.io/Motion-2-to-3/