中文

JAL-Turn:面向全双工语音对话系统的联合声学-语言模型用于实时可靠的语音接话检测

计算与语言 2026-03-30 v1 人工智能

摘要

尽管近期进展取得显著进展,但在工业级语音 AI 智能体部署中,高效且稳健的语音接话检测仍然是一个重大挑战。许多现有系统仅依赖声学或语义线索,导致检测精度和稳定性次佳;而最近尝试为大型语言模型赋予全双工能力的数据需求高昂,训练和部署开销巨大,限制了实时性能。本文提出了 JAL-Turn,一个轻量且高效仅基于语音的语音接话框架,采用联合声学-语言建模范式,其中包含一个跨注意力模块,自适应地整合预训练的声学表示与语言特征,以支持低延迟的保持与转移状态预测。通过共享冻结的语音识别编码器,JAL-Turn 使语音接话预测能够完全并行于语音识别运行,无需额外的端到端延迟或计算开销。此外,我们引入了一个可扩展的数据构建管道,自动从大规模真实对话语料库中推导出可靠的语音接话标签。在公共多语言基准和内部日语客户服务数据集上的大量实验表明,JAL-Turn 在检测精度上 consistently 优于强大的状态-of-the-art 基线,同时保持卓越的实时性能。

关键词

引用

@article{arxiv.2603.26515,
  title  = {JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems},
  author = {Guangzhao Yang and Yu Pan and Shi Qiu and Ningjie Bai},
  journal= {arXiv preprint arXiv:2603.26515},
  year   = {2026}
}

备注

8 pages, in porgress