HPOBench：一个用于超参数优化的可复现多保真度基准问题集合
机器学习
2022-10-07 v3
摘要
为达到最佳的预测性能，超参数优化（HPO）是机器学习及其应用中的关键组成部分。近年来，用于 HPO 的高效算法和工具数量大幅增长。与此同时，社区仍然缺乏真实、多样、计算成本低且标准化的基准，多保真度 HPO 方法尤其如此。为弥补这一缺口，我们提出 HPOBench，其包含 7 个已有和 5 个新的基准族，共计超过 100 个多保真度基准问题。HPOBench 通过将各个基准隔离并打包到容器中，以可复现的方式运行这组可扩展的多保真度 HPO 基准。它还提供代理与表格基准，用于计算负担可控且统计上可靠的评估。为展示 HPOBench 与各类优化工具的广泛兼容性及其实用性，我们开展了一项示范性大规模研究，评估了来自 6 个优化工具的 13 个优化器。我们在此提供 HPOBench：https://github.com/automl/HPOBench。
引用
@article{arxiv.2109.06716,
title = {HPOBench: A Collection of Reproducible Multi-Fidelity Benchmark Problems for HPO},
author = {Katharina Eggensperger and Philipp Müller and Neeratyoy Mallik and Matthias Feurer and René Sass and Aaron Klein and Noor Awad and Marius Lindauer and Frank Hutter},
journal= {arXiv preprint arXiv:2109.06716},
year = {2022}
}
备注
Published at NeurIPS Datasets and Benchmarks Track 2021. Updated version