HPO-B：基于 OpenML 的用于黑盒超参数优化的可复现大规模基准
机器学习
2021-10-12 v2
摘要
超参数优化（HPO）是机器学习社区的核心问题，并且由于评估超参数配置所需的大量计算资源而基本未解决。因此，近期一系列相关工作聚焦于迁移学习方向，以在数据集上快速微调超参数。遗憾的是，社区缺乏用于比较 HPO 算法的通用大规模基准。相反，事实上的做法由任意小规模元数据集上的经验协议组成，这些协议在各出版物间不一致地变化，使可复现性成为挑战。为解决这一主要瓶颈并在公平环境中实现黑盒 HPO 方法的快速比较，我们提出 HPO-B，一种以元数据集集合形式的新大规模基准。我们的基准从 OpenML 仓库组装并预处理，包含 176 个搜索空间（算法）在 196 个数据集上的稀疏评估，总计 640 万次超参数评估。为确保我们基准上的可复现性，我们详述了用于比较非迁移及迁移学习 HPO 方法的显式实验协议、划分与评估度量。
引用
@article{arxiv.2106.06257,
title = {HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML},
author = {Sebastian Pineda Arango and Hadi S. Jomaa and Martin Wistuba and Josif Grabocka},
journal= {arXiv preprint arXiv:2106.06257},
year = {2021}
}
备注
10 pages