语境才是关键：大语言模型实际应用中有效上下文窗口的上限
计算与语言
2026-04-24 v2 人工智能
摘要
大型语言模型(LLM)提供商宣传的上下文窗口大小数字令人瞩目。为了测试上下文窗口在实际中的有效性，我们1)定义了最大有效上下文窗口的概念，2)制定了测试上下文窗口在 various 大小和问题类型下有效性的方法，3)创建了标准化的方法，用于比较 increasingly 更大上下文窗口大小的模型效果，以找到失效点。我们收集了数十万个数据点，涵盖多个模型，发现报告的最大上下文窗口(MCW)大小与最大有效上下文窗口(MECW)大小之间存在显著差异。我们的发现表明，MECW不仅与MCW截然不同，而且根据问题类型而变化。我们测试组中的几款顶级模型在仅包含100个标记的上下文中就失败了；大多数型号在包含1000个标记的上下文中准确率出现严重下降。所有模型都远远未达到其最大上下文窗口，差距可达99%。我们的数据揭示了最大有效上下文窗口会根据所提供的问题类型而变化，为改进模型准确率并降低模型幻觉率提供了清晰且可操作的见解。
引用
@article{arxiv.2509.21361,
title = {Context Is What You Need: The Maximum Effective Context Window for Real World Limits of LLMs},
author = {Norman Paulsen},
journal= {arXiv preprint arXiv:2509.21361},
year = {2026}
}
备注
20 pages, 4 charts. AAIML (2026)