面向神经机器翻译的动态头重要性计算机制
计算与语言
2021-08-04 v1
摘要
使用多个注意力头的多重并行注意力机制有助于提升 Transformer 模型在各类应用中的性能，例如神经机器翻译（NMT）和文本分类。在多头注意力机制中，不同的头关注输入的不同部分。然而，其局限性在于多个头可能关注输入的相同部分，导致多个头冗余，从而使模型资源未被充分利用。避免此问题的一种方法是基于特定重要性分数剪枝最不重要的头。在这项工作中，我们专注于设计一种动态头重要性计算机制（DHICM），以根据输入动态计算头的重要性。我们的思路是设计一个额外的注意力层与多头注意力一起，并利用多头注意力的输出以及输入来计算每个头的重要性。此外，我们增加了一个额外的损失函数，以防止模型为所有头分配相同分数，从而识别更重要的头并提升性能。我们分析了 DHICM 在不同语言的 NMT 上的性能。在不同数据集上的实验表明，DHICM 大幅优于传统的基于 Transformer 的方法，尤其是在可用训练数据较少时。
引用
@article{arxiv.2108.01377,
title = {A Dynamic Head Importance Computation Mechanism for Neural Machine Translation},
author = {Akshay Goindani and Manish Shrivastava},
journal= {arXiv preprint arXiv:2108.01377},
year = {2021}
}