DuplexMamba：增强实时语音对话的双工与流式处理能力
计算与语言
2025-04-04 v3
摘要
实时语音对话对于自然高效的人机交互至关重要，需要双工和流式处理能力。基于 Transformer 的传统对话聊天机器人以轮询方式运行，且随着输入规模增大呈现二次计算复杂度。在本文中，我们提出 DuplexMamba，一种基于 Mamba 的端到端多模态双工语音转文本对话模型。DuplexMamba 支持同时输入处理和输出生成，并能动态调整以支持实时流式处理。具体而言，我们开发了基于 Mamba 的语音编码器，并结合基于 Mamba 的语言模型进行适配。此外，我们引入了一种新型双工解码策略，使 DuplexMamba 能够同时处理输入并生成输出。实验结果表明，DuplexMamba 成功实现了双工和流式处理能力，同时在自动语音识别（ASR）任务和语音助手基准评估中达到了与若干近期开发的基于 Transformer 的模型相当的性能。我们的代码和模型已发布。
引用
@article{arxiv.2502.11123,
title = {DuplexMamba: Enhancing Real-time Speech Conversations with Duplex and Streaming Capabilities},
author = {Xiangyu Lu and Wang Xu and Haoyu Wang and Hongyun Zhou and Haiyan Zhao and Conghui Zhu and Tiejun Zhao and Muyun Yang},
journal= {arXiv preprint arXiv:2502.11123},
year = {2025}
}
备注
12 pages, 6 figures