$\pi^2$：源结构推理数据提升大语言模型的长程推理能力

我们研究了一条从初始结构化数据中筛选推理数据以提升大语言模型（LLM）长程推理能力的管道。我们的方法，$\pi^2$，通过严格的 QA 筛选构建高质量推理数据：1）从 Wikipedia 中提取并扩展表格；2）从收集的表格和相关上下文中生成真实且多跳的分析性推理问题，其答案通过双路径代码执行自动确定并验证；3）将逐步结构化推理痕迹反译为给定真实 web 搜索上下文中 QA 对的解决方案。对 $\textsc{\small{gpt-oss-20b}}$ 和 $\textsc{\small{Qwen3-4B-Instruct-2507}}$ 在$\pi^2$上的监督式微调，均在四个长程推理基准测试及其相似的$\pi^2$-Bench 上实现持续的性能提升，平均绝对准确率提升分别为 +4.3% 和 +2.7%。值得注意的是，我们的数据集促进了自蒸馏，$\textsc{\small{gpt-oss-20b}}$ 甚至通过自身的推理痕迹提升了平均性能 +4.4%，这证明了$\pi^2$的实用性。我们的代码、数据和模型已在 https://github.com/vt-pi-squared/pi-squared 上开源。