迭代加深 Hyperband
机器学习
2023-02-07 v2 人工智能
摘要
超参数优化（HPO）致力于自动搜索参数化机器学习算法最合适的超参数配置（HPC）。Hyperband 是一种先进的 HPO 方法，但它自身具有影响其性能的参数。其中，最大预算这一参数尤其成问题：若选得过小，则需事后增大预算，而由于 Hyperband 本身设计上非增量式，必须重新运行整个算法。这不仅代价高昂，还会丢失已积累的宝贵知识。本文提出 Hyperband 的增量式变体，消除了这些缺陷，并证明这些变体满足与具有“正确”预算的原始 Hyperband 在性质上相似的理论保证。此外，我们在基准数据集实验中展示了它们的实用价值。
引用
@article{arxiv.2302.00511,
title = {Iterative Deepening Hyperband},
author = {Jasmin Brandt and Marcel Wever and Dimitrios Iliadis and Viktor Bengs and Eyke Hüllermeier},
journal= {arXiv preprint arXiv:2302.00511},
year = {2023}
}