上下文感知机器翻译模型中用于代词消歧的注意力头分析

本文研究了上下文感知机器翻译模型中注意力头在英语到德语和英语到法语语言方向上的代词消歧作用。我们通过观察和修改可能影响代词预测的合理关系所对应的注意力分数来分析其影响。我们的发现表明，虽然某些注意力头确实关注了所感兴趣的关系，但并非所有头都影响模型消歧代词的能力。我们展示了某些头被模型利用不足，这表明如果仅让部分头更强烈地关注其中一种关系，模型性能可能会得到提升。此外，我们微调了最有前景的头，观察到代词消歧准确率提高了最多5个百分点，这表明性能的提升可以稳固地融入模型参数中。