基于扩散语言模型的数学方程发现
机器学习
2025-09-17 v1
摘要
从观测数据中发现有效且有意义的数学方程在科学发现中起着关键作用。尽管该任务（符号回归）由于搜索空间的庞大以及准确性与复杂度之间的权衡而仍具挑战性。本文引入 DiffuSR，一个基于连续状态扩散语言模型构建的符号回归预训练框架。DiffuSR 在扩散过程中采用可训练嵌入层，将离散数学符号映射到连续潜在空间，从而有效地建模方程分布。通过迭代去噪，DiffuSR 将初始的噪声序列转换为以交叉注意力机制引导的数值数据驱动的符号方程。我们还设计了一种有效的推理策略来提高扩散方程生成器的准确率，该策略将逻辑先验注入遗传编程。在标准符号回归基准测试上的实验结果表明，DiffuSR 在与最先进自回归方法的性能方面具有竞争力，并生成更具可解释性和多样性的数学表达式。
引用
@article{arxiv.2509.13136,
title = {Discovering Mathematical Equations with Diffusion Language Model},
author = {Xiaoxu Han and Chengzhen Ning and Jinghui Zhong and Fubiao Yang and Yu Wang and Xin Mu},
journal= {arXiv preprint arXiv:2509.13136},
year = {2025}
}