位置偏差随输入逼近上下文窗口限制而发生偏移
计算与语言
2025-08-12 v1
摘要
大型语言模型（LLM）常常在有效利用长输入方面存在困难。已有研究识别了位置偏差，如“信息丢失在中间”（LiM）效应，即模型在信息位于输入开头（原位偏差）或结尾（回位偏差）时表现更好，而非中间位置。然而，长情境研究未能一致复现这些效应，这引发对其强度及其显现条件的质疑。为此，我们采用相对于每个模型上下文窗口的相对而非绝对输入长度进行了全面分析。我们的发现表明，LiM 效应在输入占模型上下文窗口比例达到 50% 时最为显著。超过此比例后，原位偏差减弱，而回位偏差保持相对稳定。这实际上消除了 LiM 效应；我们观察到的是一种基于距离的偏差，即模型在相关信息靠近输入末端时表现更佳。此外，我们的结果表明，成功的检索是 LLM 推理的必要条件，而观察到的位置偏差在很大程度上来源于检索。这些见解对长情境任务、未来 LLM 基准的设计以及处理扩展输入的 LLM 评估方法具有启发意义。
引用
@article{arxiv.2508.07479,
title = {Positional Biases Shift as Inputs Approach Context Window Limits},
author = {Blerta Veseli and Julian Chibane and Mariya Toneva and Alexander Koller},
journal= {arXiv preprint arXiv:2508.07479},
year = {2025}
}