中文

深度符号回归:通过风险寻求策略梯度从数据恢复数学表达式

机器学习 2022-07-06 v4 机器学习

摘要

发现描述数据集的底层数学表达式是人工智能的核心挑战。这就是 符号回归\textit{符号回归} 问题。尽管近期在训练神经网络解决复杂任务方面取得进展,基于深度学习的符号回归方法仍未被充分探索。我们提出一个利用深度学习进行符号回归的框架,其简单思路为:用大模型搜索小模型的空间。具体而言,我们使用循环神经网络来发出可处理数学表达式上的分布,并采用一种新颖的风险寻求策略梯度来训练网络以生成拟合更好的表达式。我们的算法在一系列基准问题上(无论是否加入噪声)精确恢复符号表达式的能力上优于若干基线方法(包括符号回归的黄金标准 Eureqa)。更广泛地,我们的贡献包括一个可应用于在黑盒性能度量下优化分层、变长对象、并能就地纳入约束的框架,以及一种优化最佳情形性能而非期望性能的风险寻求策略梯度公式。

关键词

引用

@article{arxiv.1912.04871,
  title  = {Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients},
  author = {Brenden K. Petersen and Mikel Landajuela and T. Nathan Mundhenk and Claudio P. Santiago and Soo K. Kim and Joanne T. Kim},
  journal= {arXiv preprint arXiv:1912.04871},
  year   = {2022}
}

备注

Published at International Conference on Learning Representations, 2021