探索Transformer的外推能力
计算与语言
2023-12-20 v2
摘要
长度外推近来备受关注，因为它允许transformer在比训练所用更长的序列上进行测试。先前研究表明，通过使用精心设计的相对位置编码（RPEs）可获得此性质。尽管这些方法在多种语料上表现良好，长度外推的条件仍有待探究。本文试图通过彻底的数学与经验分析，确定何种类型的RPEs允许长度外推。我们发现，只要与RPE指数对应的级数收敛，transformer必定具备该性质。由这些条件导出两种实践方法，并在多种语料的语言建模任务中加以检验。作为条件的额外收获，我们导出一种新的理论感受野（TRF），可在无任何训练步骤的情况下度量RPEs的感受野。我们在Wikitext-103、Books、Github和WikiBook数据集上进行了大量实验以证明所发现条件的可行性。我们还将TRF与经验感受野（ERF）在不同模型间比较，在上述数据集上展现出一致吻合的趋势。代码见https://github.com/OpenNLPLab/Rpe。
引用
@article{arxiv.2307.10156,
title = {Exploring Transformer Extrapolation},
author = {Zhen Qin and Yiran Zhong and Hui Deng},
journal= {arXiv preprint arXiv:2307.10156},
year = {2023}
}
备注
AAAI Camera Ready. Zhen Qin and Yiran Zhong contribute equally to this paper; Yiran Zhong is the corresponding author. The code is available at https://github.com/OpenNLPLab/Rpe