Text2Gestures：一种基于 Transformer 的网络，用于为虚拟代理生成情感化身体姿态

我们提出 Text2Gestures，一种基于 transformer 的学习方法，用于交互式为虚拟代理生成与自然语言文本输入对齐的情感化全身姿态。我们的方法通过利用身体表达的相关生物力学特征（亦称情感特征）来生成富有情感表现力的姿态。在我们的生成流程中，我们还考虑了文本对应的预期任务以及目标虚拟代理的预期性别与惯用手。我们在 MPI 情感身体表达数据库上训练和评估我们的网络，并观察到我们的网络在为叙述或对话中与文本对齐的虚拟代理生成姿态方面取得了最先进（SOTA）性能。我们的网络可在商用 GPU 上以交互速率生成这些姿态。我们开展了一项基于网络的用户研究，观察到约 91% 的参与者在五点李克特量表上认为我们生成的姿态至少是可接受的。参与者从姿态中感知到的情绪也与相应预期情绪呈强正相关，在效价维度上最小皮尔逊系数为 0.77。