大语言模型用于虚拟人类手势选择

协语手势传递丰富的含义，在面对面人类交互中发挥重要作用。这些手势显著影响听者的参与度、记忆、理解程度以及对说话者的态度。类似地，它们还影响人类与具身虚拟代理之间的交互。因此，自动化手势选择和动画化的过程成为虚拟代理设计中的关键焦点。然而，自动化此手势选择过程面临重大挑战。先前的手势生成技术包括全自动数据驱动方法（常难以产生情境相关的手势）以及需要构建特定手势专业知识、耗时且缺乏通用性的手动方法。本文利用大语言模型的语义能力开发了一种手势选择方法，可建议有意义且恰当的协语手势。我们首先描述手势信息如何编码到GPT-4中。随后，我们开展研究评估不同提示方法在选择有意义、情境相关手势并将其恰当地与协语言语一致的能力。最后，我们详细说明并演示了该方法如何在虚拟代理系统中实现，自动化选择及随后的手势动画，以提升人机交互体验。