探究可扩展表格数据如何增强通用长上下文推理
计算与语言
2026-03-24 v1
摘要
随着现实世界任务日益复杂，长上下文推理已成为大语言模型（LLM）的核心能力。然而，很少有研究探讨哪些数据类型对长上下文推理有效及其原因。我们发现，具有周期性结构的结构化表格数据在长上下文推理方面展现出巨大潜力。受此观察启发，我们利用互信息对表格依赖结构进行数学分析，揭示了表格数据中周期性非衰减依赖的存在。此外，我们系统地分析了结构化表格数据的能力，进行了相关的扩展实验，并验证了其增强长上下文推理的底层机制，得出了若干有意义的见解。利用这些见解，我们提出了一种简单且可扩展的流程（TableLong），用于合成高质量、多样化和可验证的结构化表格数据，以通过强化学习（RL）增强长上下文推理。广泛的实验结果表明，表格数据显著增强了 LLM 在多个长上下文基准测试中的长上下文推理能力（平均提升 +8.24%），甚至提高了在域外基准测试上的性能（平均提升 +8.06%）。我们希望我们的见解能为有效的后训练数据提供实践指导，以增强 LLM 的长上下文推理能力。
引用
@article{arxiv.2603.21719,
title = {Probing How Scalable Table Data Enhances General Long-Context Reasoning},
author = {Huaibing Xie and Guoliang Zhao and Yang Liu and Shihan Dou and Siming Huang and Yanling Xiao and Shaolei Wang and Yiting Liu and Cheng Zhang and Shaofan Liu and Pluto Zhou},
journal= {arXiv preprint arXiv:2603.21719},
year = {2026}
}