面向全双工语音对话系统的 LLM 增强式对话管理
计算与语言
2025-02-26 v2 音频与语音处理
摘要
在语音对话系统 (SDS) 中实现全双工通信需要在监听、说话和思考之间实现实时协调。本文提出了一种语义语音活动检测 (VAD) 模块作为对话管理器 (DM) 来高效管理轮次转换。在 0.5B 参数规模的轻量级 LLM 上进行微调后，该语义 VAD 预测四个控制标记，以规范轮次转换和轮次保持，区分有意和无意的抢话，同时检测查询完成以处理用户的暂停和犹豫。通过以短时间间隔处理输入语音，语义 VAD 实现了实时决策，而核心对话引擎 (CDE) 仅在响应生成时被激活，从而降低了计算开销。这种设计允许独立优化 DM 而无需重新训练 CDE，在交互准确性和推理效率之间进行权衡，为可扩展的下一代全双工 SDS 提供了支持。
引用
@article{arxiv.2502.14145,
title = {LLM-Enhanced Dialogue Management for Full-Duplex Spoken Dialogue Systems},
author = {Hao Zhang and Weiwei Li and Rilin Chen and Vinay Kothapally and Meng Yu and Dong Yu},
journal= {arXiv preprint arXiv:2502.14145},
year = {2025}
}
备注
In submission to INTERSPEECH 2025