基于块级注意力的流式语音识别转折器
机器学习
2026-03-02 v1
摘要
我们提出了块级注意力转折器（Chunk-wise Attention Transducer, CHAT），这是一种对循环神经网络-转录模型（RNN-T）的新型扩展，能够在固定大小的块内处理音频并采用交叉注意力。这种混合方法保持了RNN-T的流式处理能力，同时引入了用于局部对齐建模的受控灵活性。CHAT显著减少了RNN-T必须处理的时序维度，带来了显著的效率提升：训练峰值内存降低最高可达46.2%，训练速度提升最高可达1.36倍，推理速度提升最高可达1.69倍。除了这些效率收益之外，CHAT在多个语言和任务上实现了持续的准确率提升——语音识别实现最高可达6.3%的相对词错误率（WER）降低，语音翻译实现最高可达18.0%的BLEU分数提升。该方法在语音翻译方面尤为有效，因为RNN-T的严格单调对齐会损害性能。我们的结果表明，CHAT模型为在不牺牲实时约束条件的前提下部署更具能力的流式语音模型提供了实用解决方案。
引用
@article{arxiv.2602.24245,
title = {Chunk-wise Attention Transducers for Fast and Accurate Streaming Speech-to-Text},
author = {Hainan Xu and Vladimir Bataev and Travis M. Bartley and Jagadeesh Balam},
journal= {arXiv preprint arXiv:2602.24245},
year = {2026}
}
备注
Accepted at ICASSP 2026