面向长上下文大语言模型的关系推理联合增强
计算与语言
2025-08-29 v1
摘要
尽管取得了显著进展，大型语言模型 (LLMs) 仍在长上下文场景中表现不佳，主要由于记忆限制以及无法处理复杂的长程任务。此外，LLMs 常缺乏透明度，容易产生幻觉现象。为此，我们提出了一种名为 JERR 的新型框架，通过图基推理来增强长上下文理解。JERR 集成了三个关键组件：情节提取、图构建和关系推理。首先，通过策略性分块提取情节，使模型能够更有效地总结和理解信息。其次，我们构建一个有向无环图 (DAG) 以消除冗余，确保逻辑一致性和清晰性。最后，我们引入蒙特卡洛树搜索 (MCTS) 以帮助模型导航复杂的推理路径，确保更准确且可解释的输出。该框架为 LLMs 提供了一种新方案，使其能够处理更长的上下文和复杂的推理任务，具有更好的可靠性和透明度。实验结果表明，JERR 在 ROUGE 和 F1 指标上均显著优于所有基线方法，在 LLM-Rater 评估中取得最高分。
引用
@article{arxiv.2508.20351,
title = {Joint Enhancement of Relational Reasoning for Long-Context LLMs},
author = {Zhirui Chen and Wei Shen and Jiashui Huang and Ling Shao},
journal= {arXiv preprint arXiv:2508.20351},
year = {2025}
}
备注
9 pages, 5 pages Accepted by EMNLP 2025 Findings