面向科学发现的符号回归Transformer模型
机器学习
2025-01-06 v2
摘要
符号回归（SR）寻找最能描述数值数据集的数学表达式。这可以规避人工神经网络固有的解释性问题，但SR算法通常计算成本高昂。本文提出一种新的Transformer模型，旨在用于符号回归，特别关注其在科学发现中的应用。我们提出了三种编码器架构，灵活性递增，但代价是列置换等变性的违反。训练结果表明，需要最灵活的架构来防止过拟合。训练后，我们将最佳模型应用于SRSD数据集（科学发现符号回归数据集），在归一化基于树的编辑距离上取得了最先进的结果，且无需额外计算成本。
关键词
引用
@article{arxiv.2312.04070,
title = {A Transformer Model for Symbolic Regression towards Scientific Discovery},
author = {Florian Lalande and Yoshitomo Matsubara and Naoya Chiba and Tatsunori Taniai and Ryo Igarashi and Yoshitaka Ushiku},
journal= {arXiv preprint arXiv:2312.04070},
year = {2025}
}
备注
Accepted for oral presentation at NeurIPS2023 AI4Science Workshop. OpenReview: https://openreview.net/forum?id=AIfqWNHKjo