用于机器学习程序搜索的二分类判别器引导进化
机器学习
2024-02-09 v1 神经与进化计算
摘要
如何自动设计更优的机器学习程序是 AutoML 领域的一个开放问题。虽然进化算法一直是搜索更优机器学习程序的常用工具，但利用学习本身来引导搜索在更难的问题上效果不佳且缺乏理解，不过其有望大幅提升优化过程的速度与最终性能。我们提出利用二分类判别器引导进化，该判别器在线训练，以区分给定的一对程序中哪个更好。判别器无需执行高成本的评估即可选择更优程序，从而加速进化的收敛。我们的方法能够编码多种机器学习组件，包括符号优化器、神经架构、强化学习损失函数以及符号回归方程，且均采用相同的有向无环图表示。通过将该表示与现代 GNN 及自适应突变策略相结合，我们证明了我们的方法能够在一系列多样化的问题上加速进化，包括在机器学习优化器的符号搜索上实现 3.7 倍的加速，以及在强化学习损失函数上实现 4 倍的加速。
引用
@article{arxiv.2402.05821,
title = {Guided Evolution with Binary Discriminators for ML Program Search},
author = {John D. Co-Reyes and Yingjie Miao and George Tucker and Aleksandra Faust and Esteban Real},
journal= {arXiv preprint arXiv:2402.05821},
year = {2024}
}