您的上下文不是一个数组：揭示变换器中随机访问限制

尽管变换器基于的大型语言模型近年来取得了显著成功，但它们仍表现出意想不到的失败模式。众所周知，这类失败模式之一是它们无法进行长度泛化：即在推理时解决超过训练期间所见的更长问题实例。在本工作中，我们通过对简单奇偶校验任务进行详细分析，进一步探讨了这种失败的根本原因。我们的分析表明，长度泛化失败与模型无法在其上下文窗口内执行随机内存访问密切相关。我们通过演示规避索引需求或通过基于内容的寻址间接启用随机标记访问的方法的有效性来支持这一假设。我们进一步展示了随机内存访问失败在注意力图可视化中的具体表现。