通过手势传递意义：语义共语手势生成的探索
人机交互
2025-10-21 v1 计算机视觉与模式识别
摘要
本研究探讨了两种用于共语手势生成的框架：AQ-GT 及其语义增强变体 AQ-GT-a，以评估它们在通过手势传递意义方面的能力以及人们如何感知所生成的运动。我们使用来自 SAGA 空间通信语料库的句子、上下文相似的句子以及新颖的以运动为中心的句子，进行了以用户为中心的概念识别和人类化评估。结果揭示了语义注释与性能之间的一种细致关系。原始的 AQ-GT 框架缺乏显式语义输入，却在其训练领域内传递概念方面意外地更有效。相比之下，AQ-GT-a 框架在更广泛的情境下表现出更好的泛化能力，特别是在表示新情境中的形状和尺寸方面。虽然参与者将来自 AQ-GT-a 的手势评定为更具表达性和有帮助，但他们并不认为这些手势更具人类化。这些发现表明，显式的语义丰富并不一定保证改进的手势生成，其有效性高度取决于情境，表明专业化与泛化之间可能存在权衡。
引用
@article{arxiv.2510.17599,
title = {Conveying Meaning through Gestures: An Investigation into Semantic Co-Speech Gesture Generation},
author = {Hendric Voss and Lisa Michelle Bohnenkamp and Stefan Kopp},
journal= {arXiv preprint arXiv:2510.17599},
year = {2025}
}