基于Rising Bandits的高效自动CASH
机器学习
2020-12-09 v1 机器学习
摘要
组合算法选择与超参数优化（CASH）是自动机器学习（AutoML）中最基本的问题之一。现有的基于贝叶斯优化（BO）的方法通过将各机器学习（ML）算法的超参数合并，将CASH问题转化为超参数优化（HPO）问题，并使用BO方法求解。因此，这些方法由于CASH中巨大的超参数空间而存在低效问题。为缓解该问题，我们提出交替优化框架，其中各ML算法的HPO问题与算法选择问题被交替优化。在该框架中，BO方法分别用于求解各ML算法的HPO问题，为BO方法引入了小得多的超参数空间。此外，我们引入Rising Bandits——一种面向CASH的多臂老虎机（MAB）变体——来建模CASH中的算法选择。该框架可同时利用BO在较小超参数空间下求解HPO问题的优势与MAB加速算法选择的优势。而且，我们进一步开发了高效的在线算法来求解Rising Bandits，并具有可证明的理论保证。在30个OpenML数据集上的大量实验表明了所提方法相对于竞争基线的优越性。
引用
@article{arxiv.2012.04371,
title = {Efficient Automatic CASH via Rising Bandits},
author = {Yang Li and Jiawei Jiang and Jinyang Gao and Yingxia Shao and Ce Zhang and Bin Cui},
journal= {arXiv preprint arXiv:2012.04371},
year = {2020}
}