HyperJump：通过风险建模加速 HyperBand
机器学习
2022-12-05 v5
摘要
在超参数调优文献中，近期若干方案依赖低保真观测（例如使用子采样数据集训练）以高效识别有前景的配置，再通过高保真观测（例如使用完整数据集）检验。其中，HyperBand 因其高效性与理论可证鲁棒性，可谓最流行的方案之一。本工作中，我们提出 HyperJump，一种构建于 HyperBand 鲁棒搜索策略之上、并辅以新颖基于模型的风险分析技术的新方法，该技术通过跳过低风险配置的评估（即那些很可能最终被 HyperBand 丢弃的配置）来加速搜索。我们在一系列超参数优化问题上评估 HyperJump，表明相较于 HyperBand 与若干 SOTA 优化器，其在序列与并行部署中，在深度学习、基于核的学习及神经架构搜索等多种问题上均实现超过一个数量级的加速。
引用
@article{arxiv.2108.02479,
title = {HyperJump: Accelerating HyperBand via Risk Modelling},
author = {Pedro Mendes and Maria Casimiro and Paolo Romano and David Garlan},
journal= {arXiv preprint arXiv:2108.02479},
year = {2022}
}