基于 Transformer 的符号回归规划方法

符号回归（SR）是机器学习中一项具有挑战性的任务，旨在基于函数值寻找函数的数学表达。SR 的近期进展表明，基于预训练 transformer 的模型将公式作为序列生成具有效性，其借助在合成数据集上的大规模预训练，并在推理时间上相较经典遗传编程（GP）方法具有显著优势。然而，这些模型主要依赖借自文本生成的监督预训练目标，而忽略了精度与复杂度等方程发现目标。为此，我们提出 TPSR，一种将蒙特卡洛树搜索融入 transformer 解码过程的基于 Transformer 的符号回归规划策略。与常规解码策略不同，TPSR 能够将拟合精度与复杂度等不可微反馈作为外部知识源整合进基于 transformer 的方程生成过程。在多个数据集上的大量实验表明，我们的方法优于当前最优方法，提升了模型的拟合-复杂度权衡、外推能力以及对噪声的鲁棒性。