基于Conformer的自动语音识别中自注意力头多样性的分析
计算与语言
2022-09-14 v1 声音
音频与语音处理
摘要
注意力层是现代端到端自动语音识别系统不可或缺的组成部分，例如作为Transformer或Conformer架构的一部分。注意力通常是多头的，每个头拥有一组独立的已学习参数，并对相同的输入特征序列进行操作。多头注意力的输出是各个头输出的融合。我们通过实证分析了不同注意力头所产生的表示之间的多样性，并表明这些头在训练过程中变得高度相关。我们研究了几种增加注意力头多样性的方法，包括为每个头使用不同的注意力机制，以及使用辅助训练损失函数来促进头的多样性。我们表明，在训练过程中引入促进多样性的辅助损失函数是一种更有效的方式，并在Librispeech语料库上获得了高达6%相对的词错率（WER）提升。最后，我们建立了注意力头的多样性与头参数梯度相似性之间的联系。
引用
@article{arxiv.2209.06096,
title = {Analysis of Self-Attention Head Diversity for Conformer-based Automatic Speech Recognition},
author = {Kartik Audhkhasi and Yinghui Huang and Bhuvana Ramabhadran and Pedro J. Moreno},
journal= {arXiv preprint arXiv:2209.06096},
year = {2022}
}
备注
Accepted for publication in Interspeech 2022