用于超参数优化的 CMA-ES 热启动
机器学习
2020-12-15 v1
摘要
超参数优化（HPO）被表述为黑盒优化（BBO），被认为是实现机器学习方法自动化与高性能的关键。CMA-ES 是一种具有高度并行性的有前景的 BBO 方法，已被应用于 HPO 任务，常基于并行实现，并展现出优于包括贝叶斯优化（BO）在内的其他方法的性能。然而，若超参数评估的预算严重受限——对于无并行计算资源的最终用户而言往往如此——CMA-ES 会因其较长的自适应阶段而耗尽预算却无法提升性能，从而被 BO 方法超越。为解决此问题，我们提出通过 CMA-ES 的初始化来迁移相似 HPO 任务上的先验知识，从而显著缩短自适应时间。该知识迁移基于新颖的任务相似性定义设计，并在合成问题上验证了所提方法性能与此相似性的相关性。所提出的名为 WS-CMA-ES 的热启动 CMA-ES 被应用于若干具备部分先验知识的 HPO 任务，显示出相对于原始 CMA-ES 以及无论是否使用先验知识的 BO 方法的优越性能。
引用
@article{arxiv.2012.06932,
title = {Warm Starting CMA-ES for Hyperparameter Optimization},
author = {Masahiro Nomura and Shuhei Watanabe and Youhei Akimoto and Yoshihiko Ozaki and Masaki Onishi},
journal= {arXiv preprint arXiv:2012.06932},
year = {2020}
}
备注
accepted at AAAI2021