通过监督式链式思考促进长上下文理解
计算与语言
2025-12-03 v2
摘要
大型语言模型（LLM）的最新进展使其能够处理从2K到2M甚至更长的序列。然而，仅仅延长输入序列长度并不一定导致有效的长上下文理解。在本研究中，我们以监督方式将链式思考（CoT）集成到LLM中，以促进有效的长上下文理解。为实现这一目标，我们引入LongFinanceQA，这是一个旨�提高长上下文推理的合成金融领域数据集。与现有长上下文合成数据不同，LongFinanceQA包括中间CoT推理步骤，鼓励LLM进行显式推理，提高长上下文理解的准确性和可解释性。为生成合成CoT推理，我们提出了基于属性的智能体推断（Property-based Agentic Inference, PAI），该框架模拟人类推理步骤，包括属性提取、检索和总结。我们通过评估GPT-4o-mini配合PAI在Loong基准测试中的推理能力， outperform standard GPT-4o-mini 20.0%。此外，我们在LongFinanceQA上微调LLaMA-3.1-8B-Instruct， 在Loong金融子集上取得28.0%的提升。
引用
@article{arxiv.2502.13127,
title = {Facilitating Long Context Understanding via Supervised Chain-of-Thought Reasoning},
author = {Jingyang Lin and Andy Wong and Tian Xia and Shenghua He and Hui Wei and Mei Han and Jiebo Luo},
journal= {arXiv preprint arXiv:2502.13127},
year = {2025}
}
备注
Main Conference of EMNLP 2025, Project Page: https://long-pai.github.io/