MFES-HB：利用多保真度质量度量的高效 Hyperband
机器学习
2021-08-03 v2
摘要
超参数优化（HPO）是自动机器学习（AutoML）中的基本问题。然而，由于模型评估代价高昂（例如训练深度学习模型或在大型数据集上训练模型），原始的贝叶斯优化（BO）通常在计算上不可行。为缓解该问题，Hyperband（HB）利用早停机制，通过提前终止表现不佳的配置来加速配置评估。这产生了两类质量度量：(1) 被早停配置的大量低保真度度量，以及 (2) 未被早停评估配置的少量高保真度度量。最先进的 HB 风格方法 BOHB 旨在结合 BO 与 HB 的优势。与 HB 中随机采样配置不同，BOHB 基于仅由高保真度度量构建的 BO 代理模型来采样配置。然而，高保真度度量的稀缺严重阻碍了 BO 引导配置搜索的效率。本文提出 MFES-HB，一种高效的 Hyperband 方法，能够同时利用高保真度与低保真度度量来加速 HPO 任务的收敛。设计 MFES-HB 并非易事，因为低保真度度量可能有偏却对引导配置搜索具有信息价值。因此我们提出基于广义专家乘积框架构建多保真度集成代理（MFES），可有效整合来自多保真度度量的有用信息。在真实世界 AutoML 任务上的实证研究表明，MFES-HB 相较最先进方法 BOHB 可实现 3.3-8.9 倍的加速。
引用
@article{arxiv.2012.03011,
title = {MFES-HB: Efficient Hyperband with Multi-Fidelity Quality Measurements},
author = {Yang Li and Yu Shen and Jiawei Jiang and Jinyang Gao and Ce Zhang and Bin Cui},
journal= {arXiv preprint arXiv:2012.03011},
year = {2021}
}