MindLoom：构建前沿推理数据合成的思维模式组合
人工智能
2026-05-22 v1
摘要
尽管LLM在推理方面取得了显著进展，但系统性地生产前沿水平的推理数据仍然困难。现有方法往往对控制问题难度的结构性因素缺乏可见性，可能导致样本多样性狭窄和难度控制不稳定。在本工作中，我们将推理问题的难度视为原子知识-推理转换累积的结果，称为思维模式（thought modes）。基于此视角，我们提出MindLoom—a一个通过思维模式工程合成前沿推理数据的框架。给定一组验证解答的困难问题，MindLoom首先将解答分解为思维模式链，揭示每个问题的构建逻辑。随后训练检索模型，将问题状态匹配到兼容的思维模式，为合成过程提供哪些推理挑战值得引入的指导。新问题通过迭代应用检索到的思维模式在种子问题上构建，采用分布对齐抽样以鼓励多样化的推理覆盖。最后，采用rollout-based评判阶段对生成问题进行难度标签化，并提供被判定正确的响应，用于监督式微调。我们在覆盖五个STEM学科和四个数学推理任务的九个基准上评估了MindLoom，跨多个模型家族和规模。使用MindLoom生成的数据微调的模型在报告的基准上优于基础模型、蒸馏模型和外部数据基准。消融研究表明各组件的贡献，进一步分析表明MindLoom在保持有用难度控制的同时，覆盖了广泛的推理模式。我们已在https://github.com/EachSheep/MindLoom上开源实现。
引用
@article{arxiv.2605.21630,
title = {MindLoom: Composing Thought Modes for Frontier-Level Reasoning Data Synthesis},
author = {Haiyang Shen and Taian Guo and Xuanzhong Chen and Mugeng Liu and Weichen Bi and Wenchun Jing and Sixiong Xie and Zhuofan Shi and Yudong Han and Chongyang Pan and Siqi Zhong and Jinsheng Huang and Ming Zhang and Yun Ma},
journal= {arXiv preprint arXiv:2605.21630},
year = {2026}
}
备注
Work in Progress. Comments: 27 pages, 4 figures, preprint