Transformer注意力头在多语言与跨语言任务中的贡献
计算与语言
2021-08-20 v1 机器学习
摘要
本文研究了基于Transformer的模型中注意力头的相对重要性,以助于其在跨语言与多语言任务中的可解释性。先前研究发现,在每项单语言自然语言处理(NLP)任务中仅少数注意力头重要,剪枝其余头部可使模型性能相当或提升。然而,在跨语言与多语言任务中剪枝注意力头的影响尚不清楚。通过大量实验,我们表明:(1)在多语言基于Transformer的模型中剪枝若干注意力头,总体上对其在跨语言与多语言任务中的性能有正向影响;(2)待剪枝的注意力头可利用梯度排序并通过少量试验实验识别。我们的实验聚焦于序列标注任务,并潜在适用于其他跨语言与多语言任务。为全面起见,我们考察了两个预训练多语言模型,即多语言BERT (mBERT)与XLM-R,在各自9种语言上的三项任务。我们还讨论了我们发现的有效性及其向真正资源稀缺语言与其他任务设置的扩展性。
引用
@article{arxiv.2108.08375,
title = {Contributions of Transformer Attention Heads in Multi- and Cross-lingual Tasks},
author = {Weicheng Ma and Kai Zhang and Renze Lou and Lili Wang and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2108.08375},
year = {2021}
}
备注
In ACL 2021