SoulX-Duplug：面向实时全双工语音对话的即插即用流式状态预测模块
音频与语音处理
2026-03-17 v1
摘要
近期进展表明，人类化全双工语音交互正受到越来越多的关注，但本领域的全面综述揭示了若干挑战，包括获取训练数据的困难、不可克隆的遗忘以及可扩展性有限。在本工作中，我们提出了 SoulX-Duplug，一个面向全双工语音对话系统的即插即用流式状态预测模块。通过联合执行流式语音识别，SoulX-Duplug 明确利用文本信息来识别用户意图，有效充当语义 VAD。为促进公平评估，我们引入了 SoulX-Duplug-Eval，将广泛使用的基准测试扩展以获得改进的双语覆盖。实验结果表明，SoulX-Duplug 能够实现低延迟的流式对话状态控制，基于它的系统在整体轮次管理和延迟性能方面优于现有全双工模型。我们已开源 SoulX-Duplug 和 SoulX-Duplug-Eval。
引用
@article{arxiv.2603.14877,
title = {SoulX-Duplug: Plug-and-Play Streaming State Prediction Module for Realtime Full-Duplex Speech Conversation},
author = {Ruiqi Yan and Wenxi Chen and Zhanxun Liu and Ziyang Ma and Haopeng Lin and Hanlin Wen and Hanke Xie and Jun Wu and Yuzhe Liang and Yuxiang Zhao and Pengchao Feng and Jiale Qian and Hao Meng and Yuhang Dai and Shunshun Yin and Ming Tao and Lei Xie and Kai Yu and Xinsheng Wang and Xie Chen},
journal= {arXiv preprint arXiv:2603.14877},
year = {2026}
}
备注
submitted to Interspeech 2026, under review