MOOSE-Star：通过打破复杂性壁垒实现科学发现的可扩展训练

虽然大型语言模型（LLM）在科学发现中显示出前景，但现有研究聚焦于推理或反馈驱动的训练，缺乏对生成推理过程 $P(\text{hypothesis}|\text{background})$ ($P(h|b)$) 的直接建模。我们表明，直接训练 $P(h|b)$ 在从庞大知识库检索和组合灵感时存在组合复杂性 ($O(N^k)$)，从而导致数学上不可计算。为突破这一障碍，我们引入 MOOSE-Star，一个统一框架，实现 $P(h|b)$ 的可计算且可扩展训练，同时支持更可扩展的推理。在最佳情况下，MOOSE-Star 将复杂性从指数级降至对数级 ($O(\log N)$) 通过 (1) 在发现概率方程中派生的分解子任务上进行训练，(2) 采用动机引导的分层搜索以实现对数检索并剪枝无关子空间，以及 (3) 使用有界组合以抵抗检索噪声。为支持这一目标，我们发布 TOMATO-Star 数据集，包含 108,717 篇分解论文（38,400 GPU 小时）用于训练。经验上，MOOSE-Star 随训练数据和推理预算持续扩展，而直接的暴力抽样则遇到复杂性壁垒。