SINC：用于同步动作生成的 3D 人体运动空间组合
高能天体物理现象
2023-05-23 v2
摘要
我们的目标是在给定描述同步动作的文本输入下合成 3D 人体运动，例如一边“走路”一边“挥手”。我们将生成此类同步运动称为执行“空间组合”。与寻求从一个动作过渡到另一个动作的时间组合不同，空间组合需要理解哪些身体部位参与哪个动作，以便能够同时移动它们。受强大语言模型中动作与身体部位之间的对应关系已被编码这一观察的启发，我们通过以如“动作 <动作名> 涉及哪些身体部位？”之类的文本提示 GPT-3 来提取该知识，同时提供部位列表与少样本示例。给定此动作-部位映射，我们将两个运动的身体部位组合在一起，并建立了首个自动化空间组合两个动作的方法。然而，具有组合动作的训练数据总是受组合爆炸所限。因此，我们进一步用此方法创建合成数据，并用它训练一个新的最先进的文本到运动生成模型，称为 SINC（“3D 人体运动的同步动作组合”）。在我们的实验中，使用此类 GPT 引导的合成数据进行训练在空间组合生成上优于基线。我们的代码公开于 https://sinc.is.tue.mpg.de/。
引用
@article{arxiv.2304.10416,
title = {A Superluminous Supernova Lightened by Collisions with Pulsational Pair-instability Shells},
author = {Weili Lin and Xiaofeng Wang and Lin Yan and Avishay Gal-Yam and Jun Mo and Thomas G. Brink and Alexei V. Filippenko and Danfeng Xiang and Ragnhild Lunnan and Weikang Zheng and Peter Brown and Mansi Kasliwal and Christoffer Fremling and Nadejda Blagorodnova and Davron Mirzaqulov and Shuhrat A. Ehgamberdiev and Han Lin and Kaicheng Zhang and Jicheng Zhang and Shengyu Yan and Jujia Zhang and Zhihao Chen and Licai Deng and Kun Wang and Lin Xiao and Lingjun Wang},
journal= {arXiv preprint arXiv:2304.10416},
year = {2023}
}
备注
34 pages, 13 figures, 6 tables