多语言BERT中注意力头的可剪枝性研究
计算与语言
2021-09-28 v1
摘要
大型多语言模型，如mBERT，已在跨语言迁移中展现出前景。在这项工作中，我们采用剪枝来量化mBERT的鲁棒性并解释其逐层重要性。在四项GLUE任务上，由剪枝引起的准确率相对下降在mBERT和BERT上几乎相同，表明多语言模型降低的注意力容量不影响对剪枝的鲁棒性。对于跨语言任务XNLI，我们报告了剪枝下更高的准确率下降，表明跨语言迁移的鲁棒性较低。此外，编码器层的重要性敏感地依赖于语言族和预训练语料库大小。受微调影响相对较大的顶层为类英语(SVO)语言编码重要信息，而受微调影响相对较小的底层对黏着语和低资源语言尤为重要。
引用
@article{arxiv.2109.12683,
title = {On the Prunability of Attention Heads in Multilingual BERT},
author = {Aakriti Budhraja and Madhura Pande and Pratyush Kumar and Mitesh M. Khapra},
journal= {arXiv preprint arXiv:2109.12683},
year = {2021}
}