MoRAG——基于多融合的检索增强生成人体运动
计算机视觉与模式识别
2024-12-11 v2 多媒体
摘要
我们介绍 MoRAG，这是一种基于多部分融合的检索增强生成策略，用于基于文本的人体运动生成。该方法通过改进的运动检索过程获取的额外知识来增强运动扩散模型。通过有效地提示大语言模型（LLM），我们解决了运动检索中的拼写错误和表述问题。我们采用多部分检索策略以提高运动检索在语言空间中的通用性。通过检索运动的空间组成，我们创建出多样化的样本。此外，利用低层次、面向特定部位的运动信息，我们可以构建针对未见文本描述的运动样本。我们的实验表明，该框架可作为即插即用模块，提高运动扩散模型的性能。代码、预训练模型和样本视频均可在 https://motion-rag.github.io/ 获取。
引用
@article{arxiv.2409.12140,
title = {MoRAG -- Multi-Fusion Retrieval Augmented Generation for Human Motion},
author = {Sai Shashank Kalakonda and Shubh Maheshwari and Ravi Kiran Sarvadevabhatla},
journal= {arXiv preprint arXiv:2409.12140},
year = {2024}
}