用于语言理解的对抗自注意力机制
计算与语言
2023-02-09 v3 机器学习
摘要
深度神经模型（如 Transformer）自然会学习到虚假特征，这在标签与输入之间创建了“捷径”，从而损害了泛化能力与鲁棒性。本文针对基于 Transformer 的预训练语言模型（如 BERT）将自注意力机制推进为其鲁棒变体。我们提出\textit{对抗自注意力}机制（ASA），该机制通过对注意力施加对抗偏置，有效抑制模型对特征（如特定关键词）的依赖，并鼓励其探索更广泛的语义。我们在涵盖预训练与微调阶段的广泛任务上进行了综合评估。在预训练方面，ASA 相比更长步数的朴素训练展现出显著的性能提升。在微调方面，考虑到泛化与鲁棒性，ASA 赋能的模型以较大优势超越朴素模型。
引用
@article{arxiv.2206.12608,
title = {Adversarial Self-Attention for Language Understanding},
author = {Hongqiu Wu and Ruixue Ding and Hai Zhao and Pengjun Xie and Fei Huang and Min Zhang},
journal= {arXiv preprint arXiv:2206.12608},
year = {2023}
}
备注
Accepted by AAAI 2023