论直接语音翻译中注意力机制的局部性

Transformer在多项NLP任务上取得了最先进的结果。然而，自注意力机制的复杂度随序列长度呈二次方增长，给语音领域中涉及长序列的任务造成了障碍。本文中，我们探讨自注意力对于直接语音翻译的效用。首先，我们分析了编码器自注意力中逐层的词元贡献，揭示了局部的对角模式。为证明某些注意力权重是可避免的，我们提出用局部高效注意力替代标准自注意力，并根据分析结果设定所使用的上下文量。通过该方法，我们的模型与基线性能持平，并通过跳过标准注意力所丢弃的那些权重的计算而提升了效率。