基于离线强化学习的交互式符号回归：一种协同设计框架

符号回归（Symbolic Regression, SR）在从观测数据中发现潜在的数学和物理关系方面具有巨大潜力。然而，可能表达式庞大的组合空间给在线搜索方法和预训练Transformer模型都带来了显著挑战。此外，当前最先进的方法通常未考虑领域专家先验知识的整合，也不支持在方程发现过程中与模型进行迭代交互。为解决这些挑战，我们提出了符号Q网络（Symbolic Q-network, Sym-Q），这是一个用于大规模符号回归的高级交互式框架。与以往基于大规模Transformer的SR方法不同，Sym-Q利用强化学习，而不依赖于基于Transformer的解码器。这种形式允许智能体通过离线强化学习使用任何类型的树编码器进行学习，从而实现更高效的训练和推理。此外，我们提出了一种协同设计机制，基于强化学习的Sym-Q有助于在方程发现过程的任何阶段与领域专家进行有效交互。用户可以动态修改生成表达式的节点，与智能体协作，以定制最适合问题并符合假定物理定律的数学表达式，尤其是在对预期行为有先验部分知识时。我们的实验表明，预训练的Sym-Q在具有挑战性的SSDNC基准测试上超越了现有的SR算法。此外，我们在真实世界案例中通过实验证明，其性能可以通过交互式协同设计机制得到进一步提升，Sym-Q相比其他最先进模型取得了更大的性能增益。我们的可复现代码可在 https://github.com/EPFL-IMOS/Sym-Q 获取。