DropAttention：一种用于全连接自注意力网络的正则化方法
计算与语言
2019-07-29 v2
摘要
各种 dropout 变体方法已针对神经网络中的全连接层、卷积层和循环层设计，并被证明可有效避免过拟合。作为循环层和卷积层的一种有吸引力的替代，全连接自注意力层却出人意料地缺乏特定的 dropout 方法。本文探索了对 Transformer 中注意力权重进行正则化以防止不同上下文特征向量共适应的可能性。在广泛任务上的实验表明，DropAttention 能够提升性能并减少过拟合。
引用
@article{arxiv.1907.11065,
title = {DropAttention: A Regularization Method for Fully-Connected Self-Attention Networks},
author = {Lin Zehui and Pengfei Liu and Luyao Huang and Junkun Chen and Xipeng Qiu and Xuanjing Huang},
journal= {arXiv preprint arXiv:1907.11065},
year = {2019}
}