更长的上下文，更深的思考：揭示长上下文能力在推理中的作用
人工智能
2025-05-26 v1 计算与语言
机器学习
摘要
近期大语言模型表现出强大的推理能力，但上下文容量对推理的影响仍鲜有探讨。本文我们假设，当前推理的局限性部分源于不足的长上下文容量，这一假设基于经验观察：(1) 更长的上下文窗口长度常导致更强的推理性能；(2) 推理失败的案例类似于长上下文失败的情形。为检验此假设，我们检验在监督微调（SFT）前增强模型长上下文能力是否能提升推理性能。具体而言，我们比较具有相同架构与微调数据但不同长上下文容量的模型。我们的发现表明，长上下文能力更强的模型在SFT后在推理基准测试中取得显著更高准确率。值得注意的是，这些提升即使延续至短输入长度的任务中，也有效果。这些结果表明，长上下文建模不仅是处理长输入的必需，更是推理的关键基础。我们主张在未来语言模型设计中将长上下文容量视为一级目标。
引用
@article{arxiv.2505.17315,
title = {Longer Context, Deeper Thinking: Uncovering the Role of Long-Context Ability in Reasoning},
author = {Wang Yang and Zirui Liu and Hongye Jin and Qingyu Yin and Vipin Chaudhary and Xiaotian Han},
journal= {arXiv preprint arXiv:2505.17315},
year = {2025}
}