通过 Gumbel-Max 方程学习器网络学习符号表达式
机器学习
2021-05-17 v2
摘要
大多数通过最先进机器学习技术学习的神经网络（NNs）是黑盒模型。为使机器学习在科学与工程中获得广泛成功，开发新 NN 架构以从复杂数据集中有效提取高层数学知识十分重要。受此认识驱动，本文开发了一种称为 Gumbel-Max 方程学习器（GMEQL）网络的新 NN 架构。不同于先前提出的方程学习器（EQL）网络，GMEQL 通过 Gumbel-Max 技巧对网络结构施加连续松弛，并引入两类可训练参数：结构参数与回归参数。本文还提出了一种两阶段训练过程及新技术，基于精英库在在线与离线设置下训练结构参数。在 8 个基准符号回归问题上，实验表明 GMEQL 优于若干前沿机器学习方法。
引用
@article{arxiv.2012.06921,
title = {Learning Symbolic Expressions via Gumbel-Max Equation Learner Networks},
author = {Gang Chen},
journal= {arXiv preprint arXiv:2012.06921},
year = {2021}
}