中文

面向感知引导的符号回归:基于LLM驱动的方程搜索与粗粒度反馈的科学发现

机器学习 2026-05-29 v1 人工智能

摘要

大型语言模型(LLM)为科学发现提供了有前景的途径,但其在符号回归中的应用往往受限于低效的搜索策略和粗糙的反馈信号。现有方法通常使用标量指标(如全局均方误差)来指导LLM,无法识别方程中是哪些组成部分在推动性能,还是哪些在导致误差。我们提出了“感知引导符号回归”(Influence-Guided Symbolic Regression, IGSR),该方法将方程发现框架化为一个迭代的两步过程,结合多样化的术语生成与严谨的选择:LLM为线性模型生成候选基函数 ψj(x)\psi_j(\mathbf{x}),然后通过粗粒度影响得分 Δj\Delta_j 对其进行评估。这些得分量化了每个术语对泛化准确性的边际贡献,从而实现基于影响力的修剪过程,系统性地细化模型结构。将该机制集成到蒙特卡洛树搜索(MCTS)中,可在组合搜索空间中进行导航,同时平衡对新型函数形式的探索与对高影响力成分的开发。我们在多样化的基准测试中展示了IGSR的有效性,包括 LLM-SRBench、药理学 PKPD 模型、流行病学模拟以及真实的基因组数据。值得注意的是,在一个高维生物数据集的案例研究中,我们验证了该框架在真正发现方面的能力,IGSR 识别出DNA 甲基化与RNA聚合酶II停顿之间存在 novel relationship;该假设随后通过实验室实验得到支持。

关键词

引用

@article{arxiv.2605.29184,
  title  = {Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback},
  author = {Evgeny S. Saveliev and Samuel Holt and Nabeel Seedat and David L. Bentley and Jim Weatherall and Mihaela van der Schaar},
  journal= {arXiv preprint arXiv:2605.29184},
  year   = {2026}
}

备注

ICML 2026