无限运动：通过长文本指令的扩展运动生成
计算机视觉与模式识别
2024-07-15 v2
摘要
在运动生成领域，创建持续时长、高质量运动序列仍是重大挑战。本文提出了关于“无限运动”（Infinite Motion）的开创性工作，利用长文本实现运动的扩展生成，有效弥合了短时程与长时程运动合成之间的差距。我们的核心洞察是战略性地扩展和重新组装现有高质量文本-运动数据集，导致创建了新的基准数据集，以促进模型训练用于扩展运动序列。我们模型的关键创新是接受任意长度文本作为输入，实现针对特定叙事或情景的运动序列生成。此外，我们采用时间戳设计用于文本，允许对生成序列中的局部片段进行精确编辑，为运动合成提供了无与伦比的控制和灵活性。我们进一步通过三个具体应用展示了“无限运动”的多样性和实际实用性：自然语言交互式编辑、长序列内运动序列编辑和独立运动序列的拼接。每个应用都凸显了我们方法的可适应性，拓宽了运动生成研究与开发的可能性范围。通过大规模实验，我们证明了我们模型在生成长序列运动方面优于现有方法。项目页面: https://shuochengzhai.github.io/Infinite-motion.github.io/
引用
@article{arxiv.2407.08443,
title = {Infinite Motion: Extended Motion Generation via Long Text Instructions},
author = {Mengtian Li and Chengshuo Zhai and Shengxiang Yao and Zhifeng Xie and Keyu Chen and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2407.08443},
year = {2024}
}
备注
12 pages,13 figures