中文

如何移动你的龙:面向大词汇量对象的文本到运动合成

计算机视觉与模式识别 2025-07-01 v2 人工智能

摘要

面向多样化对象类别的运动合成在三维内容创作中具有巨大潜力,但由于两个关键挑战仍未得到充分探索:(1) 缺乏包含广泛高质量运动和标注的综合运动数据集;(2) 缺乏能够处理来自多样化对象的异质骨骼模板的方法。为应对这些挑战,我们做出以下贡献:第一,我们扩充了 Truebones Zoo 数据集——一个涵盖超过 70 个物种的高质量动物运动数据集——为其标注了详细的文本描述,使其适用于基于文本的运动合成。第二,我们引入骨架增强技术,在保持一致动力学的同时生成多样化的运动数据,使模型能够适应各种骨骼配置。第三,我们重新设计了现有的运动扩散模型,使其能够动态适应任意骨骼模板,从而实现具有不同结构的多样化对象的运动合成。实验表明,我们的方法能够从文本描述中为多样甚至未见过的对象生成高保真运动,为跨多样化对象类别和骨骼模板的运动合成奠定了坚实基础。定性结果可在以下网址获取:\href\href{https://t2m4lvo.github.io}{https://t2m4lvo.github.io}

关键词

引用

@article{arxiv.2503.04257,
  title  = {How to Move Your Dragon: Text-to-Motion Synthesis for Large-Vocabulary Objects},
  author = {Wonkwang Lee and Jongwon Jeong and Taehong Moon and Hyeon-Jong Kim and Jaehyeon Kim and Gunhee Kim and Byeong-Uk Lee},
  journal= {arXiv preprint arXiv:2503.04257},
  year   = {2025}
}

备注

Accepted to ICML 2025