InftyThink：突破大语言模型长上下文推理的长度限制
计算与语言
2026-02-26 v5 人工智能
摘要
大语言模型的高级推理在具有挑战性的任务上取得了显著性能，但当前主流的长上下文推理范式面临关键限制：计算量随序列长度呈二次方增长、推理受限于最大上下文边界，以及在超出预训练上下文窗口时性能下降。现有方法主要压缩推理链，而未解决根本的扩展性问题。为克服这些挑战，我们引入了 InftyThink，这是一种将整体推理转化为带有中间摘要的迭代过程的范式。通过将短推理片段与简明的进度摘要交替，我们的方法在保持有限计算成本的同时实现了无界推理深度。这产生了一种特征性的锯齿状内存模式，与传统方法相比显著降低了计算复杂度。此外，我们开发了一种将长上下文推理数据集重构为我们的迭代格式的方法，将 OpenR1-Math 转化为 333K 个训练实例。在多种模型架构上的实验表明，我们的方法在提升性能的同时降低了计算成本，其中 Qwen2.5-Math-7B 在 MATH500、AIME24 和 GPQA_diamond 基准上取得了 3-11% 的提升。我们的工作挑战了推理深度与计算效率之间固有的权衡，为无需架构修改的复杂推理提供了更具可扩展性的方法。
引用
@article{arxiv.2503.06692,
title = {InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models},
author = {Yuchen Yan and Yongliang Shen and Yang Liu and Jin Jiang and Mengdi Zhang and Jian Shao and Yueting Zhuang},
journal= {arXiv preprint arXiv:2503.06692},
year = {2026}
}
备注
ICLR 2026: https://openreview.net/forum?id=T1h5em349L Project Page: https://zju-real.github.io/InftyThink Code: https://github.com/ZJU-REAL/InftyThink