ParCo：部分协调的文本到运动合成
计算机视觉与模式识别
2024-07-24 v2
摘要
我们研究一项具有挑战性的任务：文本到运动合成，旨在生成与文本描述对齐并展现协调运动的动作。目前，基于部分的方法将部分划分引入运动合成过程以实现更细粒度的生成。然而，这些方法面临挑战，例如不同部分运动之间缺乏协调性以及网络难以理解部分概念。此外，引入更细粒度的部分概念带来了计算复杂性的挑战。在本文中，我们提出了部分协调文本到运动合成（ParCo），它增强了理解部分运动的能力以及不同部分运动生成器之间的通信，确保协调且细粒度的运动合成。具体来说，我们将全身运动离散化为多个部分运动，以建立不同部分的先验概念。之后，我们采用多个轻量级生成器来合成不同的部分运动，并通过我们的部分协调模块协调它们。我们的方法在常见基准测试（包括HumanML3D和KIT-ML）上表现出优越的性能，且计算经济，提供了其有效性的充分证据。代码可在https://github.com/qrzou/ParCo获取。
引用
@article{arxiv.2403.18512,
title = {ParCo: Part-Coordinating Text-to-Motion Synthesis},
author = {Qiran Zou and Shangyuan Yuan and Shian Du and Yu Wang and Chang Liu and Yi Xu and Jie Chen and Xiangyang Ji},
journal= {arXiv preprint arXiv:2403.18512},
year = {2024}
}
备注
Accepted by ECCV 2024. Code: https://github.com/qrzou/ParCo