选取未充分利用的注意力头：融合对话共指信息的注意力头选择之网络剪枝视角
计算与语言
2023-12-18 v1
摘要
基于 Transformer 并采用多头自注意力机制的模型在自然语言处理中被广泛使用，并提供了最先进（state-of-the-art）的结果。虽然预训练语言骨干网络已被证明能隐式捕获某些语言知识，但显式地结合结构感知特征可以在下游任务上带来进一步的提升。然而，这种增强通常需要额外的神经组件并增加训练参数量。在本工作中，我们从网络剪枝的角度研究了用于特征注入的注意力头选择与操纵策略，并以对话摘要为案例进行了研究。我们首先按层级重要性对基于 Transformer 的摘要器中的注意力头进行排序。然后，通过广泛的分析选取未充分利用的注意力头，并通过操纵所选头注入结构感知特征。实验结果表明，基于重要性的注意力头选择对特征注入是有效的，并且通过操纵注意力头结合共指信息可以改善对话摘要。
引用
@article{arxiv.2312.09541,
title = {Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information},
author = {Zhengyuan Liu and Nancy F. Chen},
journal= {arXiv preprint arXiv:2312.09541},
year = {2023}
}