YAHPO Gym——一个用于超参数优化的高效多目标多保真度基准
机器学习
2022-08-02 v4 机器学习
摘要
在开发和分析新的超参数优化方法时，在精心策划的基准套件上进行实证评估和比较至关重要。在这项工作中，我们基于此类基准的理想属性和需求，提出了一组新的具有挑战性且相关的基准问题。我们新的基于代理的基准集合包含 14 个场景，总计构成超过 700 个多保真度超参数优化问题，且均支持多目标超参数优化。此外，我们实证比较了基于代理的基准与更广泛使用的表格基准，并证明后者在 HPO 方法的性能排名方面可能产生不忠实的结果。我们根据定义的需求检查和比较了我们的基准集合，并提出了一个单目标和一个多目标基准套件，在基准实验中比较了 7 个单目标和 7 个多目标优化器。我们的软件可在 [https://github.com/slds-lmu/yahpo_gym] 获取。
引用
@article{arxiv.2109.03670,
title = {YAHPO Gym -- An Efficient Multi-Objective Multi-Fidelity Benchmark for Hyperparameter Optimization},
author = {Florian Pfisterer and Lennart Schneider and Julia Moosbauer and Martin Binder and Bernd Bischl},
journal= {arXiv preprint arXiv:2109.03670},
year = {2022}
}
备注
Accepted at the First Conference on Automated Machine Learning (Main Track). 39 pages, 12 tables, 10 figures, 1 listing