通过自动化学习算法优化大规模超参数
机器学习
2021-02-19 v1
摘要
现代机器学习算法通常涉及调优多个（从一到数千）对模型泛化能力起关键作用的超参数。黑箱优化与基于梯度的算法是超参数优化的两类主导方法，但二者优势迥异。如何设计一种继承两类方法所有优点的新超参数优化技术仍是一个开放问题。为应对这一挑战，本文提出一种基于零阶超梯度 (HOZOG) 的新超参数优化方法。具体而言，我们首先将超参数优化精确表述为基于 A 的约束优化问题，其中 A 为黑箱优化算法（如深度神经网络）。随后，我们使用平均零阶超梯度更新超参数。我们提供了使用 HOZOG 实现超参数优化的可行性分析。最后，在三个代表性超参数（规模从 1 到 1250）优化任务上的实验结果表明，与最先进超参数优化方法相比，HOZOG 在简洁性、可扩展性、灵活性、有效性与效率方面具有优势。
引用
@article{arxiv.2102.09026,
title = {Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm},
author = {Bin Gu and Guodong Liu and Yanfu Zhang and Xiang Geng and Heng Huang},
journal= {arXiv preprint arXiv:2102.09026},
year = {2021}
}