意图性手势：通过手势传递语音中的意图
计算机视觉与模式识别
2025-09-29 v2 人工智能
图形学
摘要
人类说话时，手势有助于传达交际意图，例如强调或描述概念。然而，当前的伴随语音手势生成方法仅依赖表面语言线索（如语音音频或文本转录），忽视了理解和利用支撑人类手势的交际意图。这导致输出在节奏上与语音同步，但在语义上浅薄。为弥补这一空白，我们提出了 Intentional-Gesture，一个将手势生成建模为基于高层交际功能的意图推理任务的新框架。首先，我们通过增强 BEAT-2 数据集并添加手势意图标注（即总结意图的文本句子）来构建 InG 数据集，这些标注利用大视觉语言模型自动完成。其次，我们引入意图性手势运动标记器（Intentional Gesture Motion Tokenizer）来利用这些意图标注。它将高层交际功能（如意图）注入到标记化的运动表示中，从而实现既在时间上对齐又在语义上有意义的手势生成，在 BEAT-2 基准上取得了新的最先进性能。我们的框架为数字人和具身 AI 中的富有表现力的手势生成提供了模块化基础。项目页面：https://andypinxinliu.github.io/Intentional-Gesture
引用
@article{arxiv.2505.15197,
title = {Intentional Gesture: Deliver Your Intentions with Gestures for Speech},
author = {Pinxin Liu and Haiyang Liu and Luchuan Song and Jason J. Corso and Chenliang Xu},
journal= {arXiv preprint arXiv:2505.15197},
year = {2025}
}