AUBER：自动化BERT正则化
人工智能
2021-09-15 v1
摘要
我们如何有效正则化BERT？尽管BERT在各种下游自然语言处理任务中证明了其有效性，但在训练样本较少时常常过拟合。基于依据头重要性代理分数剪枝其注意力头的正则化BERT是一个有前景的方向。然而，基于启发式的方法通常次优，因为它们预先确定了注意力头被剪枝的顺序。为克服该局限，我们提出AUBER，一种利用强化学习自动从BERT中剪枝注意力头的有效正则化方法。AUBER不依赖启发式或基于规则的策略，而是学习一个剪枝策略，决定哪些注意力头应被剪枝或不应被剪枝以进行正则化。实验结果表明，AUBER以高达10%的精度优势优于现有剪枝方法。此外，我们的消融研究从经验上证明了AUBER设计选择的有效性。
引用
@article{arxiv.2009.14409,
title = {AUBER: Automated BERT Regularization},
author = {Hyun Dong Lee and Seongmin Lee and U Kang},
journal= {arXiv preprint arXiv:2009.14409},
year = {2021}
}