通过离线强化学习进行交互式符号回归：一个协同设计框架
机器学习
2025-02-14 v2 人工智能
摘要
符号回归（SR）在从观测数据中发现潜在数学和物理关系方面具有巨大潜力。然而，可能的表达式组合空间巨大，给在线搜索方法和预训练的Transformer模型都带来了显著挑战。此外，当前最先进的方法通常不考虑领域专家先验知识的整合，也不支持在方程发现过程中与模型进行迭代交互。为了解决这些挑战，我们提出了符号Q网络（Sym-Q），这是一个用于大规模符号回归的先进交互式框架。与以往基于大规模Transformer的SR方法不同，Sym-Q利用强化学习而不依赖于基于Transformer的解码器。这种公式允许智能体通过离线强化学习使用任何类型的树编码器进行学习，从而实现更高效的训练和推理。此外，我们提出了一种协同设计机制，其中基于强化学习的Sym-Q有助于在方程发现过程的任何阶段与领域专家进行有效交互。用户可以动态修改生成的表达式节点，与智能体协作，以定制最适合问题并符合假设物理定律的数学表达式，尤其是在对预期行为有先验部分知识的情况下。我们的实验表明，预训练的Sym-Q在具有挑战性的SSDNC基准测试上超越了现有的SR算法。此外，我们在真实世界案例上实验证明，其性能可以通过交互式协同设计机制进一步增强，Sym-Q相比其他最先进的模型获得了更大的性能提升。我们的可复现代码可在 https://github.com/EPFL-IMOS/Sym-Q 获取。
引用
@article{arxiv.2402.05306,
title = {Interactive Symbolic Regression through Offline Reinforcement Learning: A Co-Design Framework},
author = {Yuan Tian and Wenqi Zhou and Michele Viscione and Hao Dong and David Kammer and Olga Fink},
journal= {arXiv preprint arXiv:2402.05306},
year = {2025}
}