HPO X ELA：基于探索性景观分析的超参数优化景观研究
机器学习
2022-08-02 v1
摘要
超参数优化（HPO）是机器学习模型取得最佳预测性能的关键组成部分。尽管近年来已提出众多 HPO 方法和算法，但在阐明和审视这些黑盒优化问题的实际结构方面进展甚微。探索性景观分析（ELA）涵盖一组可用于获取未知优化问题性质的技术。本文中，我们在 30 个 HPO 问题上评估了五种不同黑盒优化器的性能，这些 HPO 问题由在 10 个不同数据集上训练的 XGBoost 学习器的二维、三维和五维连续搜索空间构成。与之对照的是，在相同优化器于黑盒优化基准（BBOB）的 360 个问题实例上的性能评估。随后，我们计算 HPO 和 BBOB 问题的 ELA 特征并审视其异同。对 ELA 特征空间中 HPO 与 BBOB 问题的聚类分析使我们能够从结构元层面识别 HPO 问题相对于 BBOB 问题的比较情况。我们识别出一组在 ELA 特征空间中接近 HPO 问题的 BBOB 问题，并表明优化器在这两组基准问题上的性能具有可比的相似性。我们强调了 ELA 用于 HPO 的开放挑战，并讨论了未来研究与应用的可能方向。
引用
@article{arxiv.2208.00220,
title = {HPO X ELA: Investigating Hyperparameter Optimization Landscapes by Means of Exploratory Landscape Analysis},
author = {Lennart Schneider and Lennart Schäpermeier and Raphael Patrick Prager and Bernd Bischl and Heike Trautmann and Pascal Kerschke},
journal= {arXiv preprint arXiv:2208.00220},
year = {2022}
}
备注
Accepted at PPSN 2022. 15 pages, 2 tables, 7 figures