XLSR-Transducer：面向自监督预训练模型的流式自动语音识别

自监督预训练模型在微调后的自动语音识别中表现出有竞争力的性能，即使在有限的领域内监督数据下也是如此。然而，流行的预训练模型不适合流式ASR，因为它们是在全注意力上下文中训练的。在本文中，我们介绍了XLSR-Transducer，其中XLSR-53模型被用作transducer设置中的编码器。我们在AMI数据集上的实验表明，XLSR-Transducer相比Whisper large-v2实现了4%的绝对词错误率（WER）改进，相比从头训练的Zipformer transducer模型实现了8%的改进。为了实现流式能力，我们研究了XLSR-53模型中Transformer层自注意力计算中的不同注意力掩码模式。我们在低资源场景下，在AMI和CommonVoice的5种语言上验证了XLSR-Transducer。最后，通过引入注意力汇聚（attention sinks），我们将左上下文减少了一半，同时实现了WER相对12%的改进。