寻找多头注意力的中流砥柱
机器学习
2023-10-17 v2 计算与语言
摘要
近期研究揭示了多头注意力（MHA）的一些问题，例如冗余和过参数化。具体而言，MHA 的头最初被设计为关注来自不同表示子空间的信息，而先前研究发现一些注意力头可能学习到相似特征，并且可以在不损害性能的情况下被剪枝。受最小冗余特征选择启发，我们假设以最少资源聚焦于最具代表性和区分性的特征，能够缓解上述问题并带来更高效有效的 MHA。特别地，我们提出分组头注意力（Grouped Head Attention），以自监督组约束进行训练，该约束将注意力头分组，每组聚焦于一个必要但具区分性的特征子集。我们还额外提出留任投票（Voting-to-Stay）流程以移除冗余头，从而得到一个权重更轻的 transformer。此外，我们的方法在三个成熟任务上取得了显著性能提升，同时大幅压缩了参数。
引用
@article{arxiv.2305.14380,
title = {Finding the Pillars of Strength for Multi-Head Attention},
author = {Jinjie Ni and Rui Mao and Zonglin Yang and Han Lei and Erik Cambria},
journal= {arXiv preprint arXiv:2305.14380},
year = {2023}
}
备注
In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL 2023)