OmniMotionGPT：基于有限数据的动物运动生成
计算机视觉与模式识别
2023-12-01 v1
摘要
我们的论文旨在从文本描述生成多样且真实的动物运动序列，而无需大规模动物文本-运动数据集。尽管文本驱动的人体运动合成任务已被广泛研究与基准测试，但将其成功迁移到具有有限数据的其他骨架结构仍然具有挑战性。在这项工作中，我们设计了一种模仿生成式预训练 Transformer (GPT) 的模型架构，利用从人体数据中学到的先验知识迁移到动物领域。我们联合训练动物与人体运动的运动自编码器，同时通过人体运动编码、动物运动编码与文本 CLIP 嵌入之间的相似度得分进行优化。作为该问题的首个解决方案，我们能够生成具有高多样性和高保真度的动物运动，在定量与定性上均优于在动物数据上训练人体运动生成基线的结果。此外，我们引入了 AnimalML3D，首个包含跨越 36 种不同动物身份的 1240 个动画序列的文本-动物运动数据集。我们希望该数据集能缓解文本驱动动物运动生成中的数据稀缺问题，为研究界提供新的试验平台。
引用
@article{arxiv.2311.18303,
title = {OmniMotionGPT: Animal Motion Generation with Limited Data},
author = {Zhangsihao Yang and Mingyuan Zhou and Mengyi Shan and Bingbing Wen and Ziwei Xuan and Mitch Hill and Junjie Bai and Guo-Jun Qi and Yalin Wang},
journal= {arXiv preprint arXiv:2311.18303},
year = {2023}
}
备注
The project page is at https://zshyang.github.io/omgpt-website/