随机化位置编码提升 Transformer 的长度泛化能力
机器学习
2023-05-29 v1 人工智能
计算与语言
机器学习
摘要
Transformer 在固定上下文长度的任务上具有令人印象深刻的泛化能力。然而，它们无法泛化到任意长度的序列，即使是复制字符串这类看似简单的任务也是如此。此外，由于全局注意力机制的二次计算复杂度，仅在更长序列上训练是低效的。在本工作中，我们证明了这种失败模式与更长序列下位置编码的分布外特性有关（即使对于相对编码也是如此），并引入了一类能够克服该问题的新型位置编码。具体而言，我们的随机化位置编码方案模拟更长序列的位置，并随机选取一个有序子集以适配序列长度。我们在 15 个算法推理任务上对 6000 个模型进行了大规模实证评估，结果表明我们的方法使 Transformer 能够泛化到未见长度的序列（平均将测试准确率提升了 12.0%）。
引用
@article{arxiv.2305.16843,
title = {Randomized Positional Encodings Boost Length Generalization of Transformers},
author = {Anian Ruoss and Grégoire Delétang and Tim Genewein and Jordi Grau-Moya and Róbert Csordás and Mehdi Bennani and Shane Legg and Joel Veness},
journal= {arXiv preprint arXiv:2305.16843},
year = {2023}
}