准确、快速、低成本：选择三者——用双向循环注意力取代长文本语音识别中的多头注意力
计算与语言
2025-06-25 v1
摘要
长文本语音识别正成为研究关注的热点区域。基于多头注意力（MHA）的ASR模型因序列长度的二次复杂度，难以适用于长文本ASR。我们基于近期研究中用于ASR的线性复杂度循环注意力（RA）层进行构建。我们发现，双向RA层在短文本和长文本应用中均能与MHA相当。我们提出了强大的有限上下文注意力（LCA）基线，表明RA层在准确率上与LCA相当却更高效。我们发展了长期训练范式，进一步提升了RA性能，使其在准确率上超过LCA，吞吐量提高44%。我们还提出了方向随机失活（Direction Dropout），这是一种新型的正则化方法，可提高准确率，为双向RA的准确率/吞吐量权衡提供细粒度控制，并支持甚至更高吞吐量的新型交替方向解码模式。
引用
@article{arxiv.2506.19761,
title = {Accurate, fast, cheap: Choose three. Replacing Multi-Head-Attention with Bidirectional Recurrent Attention for Long-Form ASR},
author = {Martin Ratajczak and Jean-Philippe Robichaud and Jennifer Drexler Fox},
journal= {arXiv preprint arXiv:2506.19761},
year = {2025}
}
备注
Accepted to Interspeech 2025