FireRedChat: 一种可插拔的全双工语音交互系统及其级联与半级联实现

全双工语音交互允许用户与智能体同时说话并可控地插入发言，从而实现逼真的助手和客服系统。现有方案要么是端到端、难以设计和控制，要么是基于轮转控制器的模块化流水线，便于升级和逐模块优化；然而，先前的模块化框架依赖非开源组件和外部提供者，限制了整体优化。在本工作中，我们提出了一套完整的、实用的全双工语音交互系统，包含轮转控制器、交互模块和对话管理器。该控制器集成了流式个性化语音活动检测（pVAD），以抑制噪声和非主说话人引起的虚假插入发言，精确定位主说话人片段的时间戳，并显式地允许主说话人插入发言；语义结束检测器改善了停止决策。它将异构的半双工流水线——级联、半级联和语音到语音——升级至全双工。使用内部模型，我们实现了级联和半级联两种变体；半级联变体捕捉情感和副语言线索，生成更连贯的响应，降低延迟和错误传播，并提升鲁棒性。对话管理器通过工具调用和上下文管理扩展了系统能力。我们还提出了三个系统级指标——插入发言、结束检测准确率和端到端延迟——用于评估自然度、控制精度和效率。实验结果表明，虚假中断更少、语义结束更准确、延迟更低且接近工业系统水平，实现了鲁棒、自然、实时的全双工交互。演示：https://fireredteam.github.io/demos/firered_chat。