FlexDuo：为语音对话系统赋能全双工能力的可插拔系统
计算与语言
2025-05-30 v2 人机交互
摘要
全双工语音对话系统通过实现实时双向通信，显著增强了人机交互的自然性。然而，由于高度耦合的架构设计和过于简化的二元状态建模，现有方法面临诸如独立模块优化困难和上下文噪声干扰等挑战。本文提出 FlexDuo，这是一种灵活的全双工控制模块，通过即插即用的架构设计将双工控制与语音对话系统解耦。此外，受人类对话中信息过滤机制的启发，我们引入了显式的空闲状态。一方面，空闲状态过滤冗余噪声和无关音频以提升对话质量。另一方面，它建立了基于语义完整性的缓冲机制，在确保准确响应转换的同时降低相互打断的风险。在 Fisher 语料库上的实验结果表明，与集成的全双工对话系统基线相比，FlexDuo 将错误打断率降低了 24.9%，响应准确率提高了 7.6%。在中文和英文对话质量上，它也优于语音活动检测（VAD）控制的基线系统。所提出的模块化架构和基于状态的对话模型为构建灵活高效的双工对话系统提供了一条新颖的技术路径。
引用
@article{arxiv.2502.13472,
title = {FlexDuo: A Pluggable System for Enabling Full-Duplex Capabilities in Speech Dialogue Systems},
author = {Borui Liao and Yulong Xu and Jiao Ou and Kaiyuan Yang and Weihua Jian and Pengfei Wan and Di Zhang},
journal= {arXiv preprint arXiv:2502.13472},
year = {2025}
}