RealFormer：偏好残差注意力的 Transformer
机器学习
2021-09-14 v3
摘要
Transformer 是现代 NLP 模型的主干网络。在本文中，我们提出 RealFormer，一种简单且通用的技术，用于创建残差注意力层 Transformer 网络，该网络在广泛任务上显著优于标准 Transformer 及其变体（BERT、ETC 等），包括掩码语言建模、GLUE、SQuAD、神经机器翻译、WikiHop、HotpotQA、Natural Questions 和 OpenKP。我们还通过实证观察到 RealFormer 稳定了训练并导致具有更稀疏注意力的模型。RealFormer 的源代码和预训练检查点可在 https://github.com/google-research/google-research/tree/master/realformer 找到。
引用
@article{arxiv.2012.11747,
title = {RealFormer: Transformer Likes Residual Attention},
author = {Ruining He and Anirudh Ravula and Bhargav Kanagal and Joshua Ainslie},
journal= {arXiv preprint arXiv:2012.11747},
year = {2021}
}
备注
Findings of ACL-IJCNLP 2021