利用引导注意力改进ASR上下文偏置

在本文中，我们提出了一种引导注意力（Guided Attention, GA）辅助训练损失，它能在不引入额外参数的情况下，提高自动语音识别（ASR）上下文偏置的有效性和鲁棒性。先前文献中的一个常见挑战是，随着偏置短语数量的增加，上下文偏置带来的词错误率（WER）降低效果会减弱。为了解决这一挑战，我们除了Transducer损失外，还采用GA损失作为额外的训练目标。所提出的GA损失旨在教导交叉注意力如何将偏置短语与文本标记或音频帧对齐。与具有类似动机的研究相比，所提出的损失直接作用于交叉注意力权重，且更易于实现。通过基于带有上下文适配器的Conformer Transducer的大量实验，我们证明所提出的方法不仅能带来更低的WER，而且随着偏置短语数量的增加，仍能保持其有效性。具体而言，在LibriSpeech上，与上下文偏置基线相比，GA损失将稀有词汇的WER降低了多达19.2%；与普通Transducer相比，降低了多达49.3%。