通过语音韵律增强机器人对语音指令的理解与歧义消解
机器人学
2025-06-04 v1 人工智能
计算与语言
机器学习
摘要
使机器人能够准确解释和执行语音指令对于有效的人机协作至关重要。传统方法依赖语音识别将语音转录为文本，往往丢弃了消解意图所需的关键韵律线索。我们提出了一种新方法，直接利用语音韵律来推断和消解指令意图。预测的意图通过上下文学习被整合到大语言模型中，以消解歧义并选择合适的任务计划。此外，我们提出了首个面向机器人的歧义语音数据集，旨在推进语音消歧研究。我们的方法在检测话语中的指代意图方面达到了 95.79% 的准确率，并以 71.96% 的准确率确定了歧义指令的预期任务计划，展示了其显著改善人机通信的潜力。
引用
@article{arxiv.2506.02057,
title = {Enhancing Speech Instruction Understanding and Disambiguation in Robotics via Speech Prosody},
author = {David Sasu and Kweku Andoh Yamoah and Benedict Quartey and Natalie Schluter},
journal= {arXiv preprint arXiv:2506.02057},
year = {2025}
}
备注
Accepted to Interspeech 2025