局部性至关重要：一种面向自动语音识别的局部偏置线性注意力
声音
2022-03-30 v1 音频与语音处理
摘要
Conformer在许多公开基准的自动语音识别（ASR）中已展现出巨大成功。其关键缺点之一是关于输入序列长度的二次时空复杂度，这阻碍了模型扩展以及处理更长输入音频序列的能力。为解决此问题，已提出众多线性注意力方法。然而，这些方法在ASR上往往性能有限，因为它们在建模中对各令牌同等对待，忽视了相邻令牌通常比远距离令牌联系更紧密这一事实。在本文中，我们考量该事实并提出一种面向Conformer的新型局部偏置线性注意力。它不仅比原始Conformer达到更高准确率，还具备线性时空计算复杂度。具体而言，我们在Conformer块中以局部偏置线性注意力（LBLA）机制替换softmax注意力。LBLA包含一个确保线性复杂度的核函数，以及一个对相邻令牌施加更大权重的余弦重加权矩阵。在LibriSpeech语料库上的大量实验表明，通过向Conformer引入该局部偏置，我们的方法以超过22%的推理速度实现了更低的词错误率。
引用
@article{arxiv.2203.15609,
title = {Locality Matters: A Locality-Biased Linear Attention for Automatic Speech Recognition},
author = {Jingyu Sun and Guiping Zhong and Dinghao Zhou and Baoxiang Li and Yiran Zhong},
journal= {arXiv preprint arXiv:2203.15609},
year = {2022}
}
备注
5 pages, 2 figures, submitted to interspeech 2022