线性化相对位置编码
计算与语言
2023-07-19 v1
摘要
相对位置编码在 vanilla 和线性 transformer 中被广泛用于表征位置信息。然而，现有的 vanilla transformer 编码方法并不总可直接应用于线性 transformer，因为后者需要将查询和键的表示分解为独立的核函数。尽管如此，适用于线性 transformer 的编码方法设计原则仍缺乏充分研究。本工作中，我们将多种现有线性相对位置编码方法统一于一种规范形式之下，并进一步通过酉变换提出一类线性相对位置编码算法。我们的公式化方法导出一个原则性框架，可用于开发保持线性时空复杂度的新相对位置编码方法。在不同模型的支持下，所提出的线性化相对位置编码（LRPE）族为多种应用推导出有效的编码。实验表明，与现有方法相比，LRPE 在语言建模、文本分类和图像分类中达到了最先进的性能。同时，它强调了一种通用范式，用于设计更广泛适用于线性 transformer 的相对位置编码方法。代码见 https://github.com/OpenNLPLab/Lrpe。
引用
@article{arxiv.2307.09270,
title = {Linearized Relative Positional Encoding},
author = {Zhen Qin and Weixuan Sun and Kaiyue Lu and Hui Deng and Dongxu Li and Xiaodong Han and Yuchao Dai and Lingpeng Kong and Yiran Zhong},
journal= {arXiv preprint arXiv:2307.09270},
year = {2023}
}
备注
Reviewed by TMLR, decision pending. Yiran Zhong is the corresponding author. Code is available at https://github.com/OpenNLPLab/Lrpe