以更优相对位置嵌入改进 Transformer 模型
计算与语言
2020-09-30 v1
摘要
Transformer 架构依赖显式位置编码以保留词序概念。本文认为现有工作未充分利用位置信息。例如，最初提出的正弦嵌入是固定的且不可学习。本文首先回顾绝对位置嵌入与现有相对位置嵌入方法，随后提出新技术以增进自注意力机制中查询、键与相对位置嵌入之间的交互。我们最有前景的方法是对绝对位置嵌入的推广，在 SQuAD1.1 上相较先前位置嵌入方法改善了结果。此外，我们探讨位置嵌入能否足够鲁棒地处理长序列的归纳性质。我们从经验上证明，从归纳视角看，我们的相对位置嵌入方法具有合理的泛化性与鲁棒性。最后，我们展示所提方法可作为近乎即插即用的替代方案，以较小计算代价提升大型模型的精度。
引用
@article{arxiv.2009.13658,
title = {Improve Transformer Models with Better Relative Position Embeddings},
author = {Zhiheng Huang and Davis Liang and Peng Xu and Bing Xiang},
journal= {arXiv preprint arXiv:2009.13658},
year = {2020}
}
备注
Accepted as Findings of EMNLP 2020