分析多头自注意力：专门化头承担主要任务，其余可被剪枝
计算与语言
2019-06-10 v2
摘要
多头自注意力是Transformer的关键组件，后者是神经机器翻译的最先进架构。在这项工作中，我们评估编码器中各个注意力头对模型整体性能的贡献并分析其所起作用。我们发现最重要且最自信的头扮演着一致且常具语言学可解释性的角色。当使用基于随机门与L0惩罚可微松弛的方法剪枝头时，我们观察到专门化头最后被剪枝。我们的新颖剪枝方法移除了绝大多数头而不严重影响性能。例如，在英俄WMT数据集上，剪枝48个编码器头中的38个仅导致0.15 BLEU的下降。
引用
@article{arxiv.1905.09418,
title = {Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned},
author = {Elena Voita and David Talbot and Fedor Moiseev and Rico Sennrich and Ivan Titov},
journal= {arXiv preprint arXiv:1905.09418},
year = {2019}
}
备注
ACL 2019 (camera-ready)