Scheduled DropHead：一种用于Transformer模型的正则化方法
计算与语言
2020-11-03 v2 机器学习
摘要
本文提出DropHead，一种专为正则化多头注意力机制而设计的结构化dropout方法，该机制是Transformer（一种用于各类NLP任务的最先进模型）的关键组件。与随机丢弃单元或连接的传统dropout机制不同，所提出的DropHead是一种结构化dropout方法。它在训练期间丢弃整个注意力头，防止多头注意力模型被少数注意力头主导，同时降低训练数据过拟合风险，从而更高效地利用多头注意力机制。受近期关于多头注意力机制学习动态研究的启发，我们提出一种特定的dropout率调度策略，自适应调整DropHead的dropout率以获得更好的正则化效果。在机器翻译与文本分类基准数据集上的实验结果证明了所提方法的有效性。
引用
@article{arxiv.2004.13342,
title = {Scheduled DropHead: A Regularization Method for Transformer Models},
author = {Wangchunshu Zhou and Tao Ge and Ke Xu and Furu Wei and Ming Zhou},
journal= {arXiv preprint arXiv:2004.13342},
year = {2020}
}
备注
EMNLP 2020 Findings