FastRPB:一种面向长序列任务的可扩展相对位置编码
机器学习
2022-02-24 v1
摘要
Transformer 在 NLP、CV、音频处理和图分析等多个领域取得了卓越性能。然而,由于其相对于输入长度的二次复杂度,它们在长序列任务上扩展性不佳。为应对此限制,提出了线性 Transformer。但这些模型在长序列任务上相比原始模型表现出更弱的性能。本文中,我们探索线性 Transformer 模型,重新思考其两个核心组件。首先,我们使用平移不变核函数 SIKF 改进线性 Transformer,在不损失速度的前提下达到更高精度。其次,我们引入 FastRPB,即 Fast Relative Positional Bias(快速相对位置偏置),其利用快速傅里叶变换高效地将位置信息加入自注意力。FastRPB 独立于自注意力机制,可与原始自注意力及其所有高效变体结合。FastRPB 具有 O(N log(N)) 计算复杂度,相对于输入序列长度 N 仅需 O(N) 内存。
引用
@article{arxiv.2202.11364,
title = {FastRPB: a Scalable Relative Positional Encoding for Long Sequence Tasks},
author = {Maksim Zubkov and Daniil Gavrilov},
journal= {arXiv preprint arXiv:2202.11364},
year = {2022}
}