表格数据上超参数优化引擎的系统性比较研究
机器学习
2023-11-28 v1
摘要
我们对 Ray Tune 库中可用的所有超参数优化（hyperopt）引擎进行了独立比较。我们引入了两种跨数据集与模型对统计量进行归一化与聚合的方法，一种基于排序，另一种将得分夹在随机搜索得分与完整网格搜索得分之间。这使我们能够 i) 对 hyperopt 引擎排序，ii) 就它们相对随机搜索的提升程度做出通用且统计显著的陈述，以及 iii) 就给定学习算法应使用哪种引擎进行超参数优化给出建议。我们发现大多数引擎优于随机搜索，但其中仅有三个（HEBO、AX 和 BlendSearch）明显突出。我们还发现某些引擎似乎专用于特定学习算法的超参数优化，这使得在比较研究中运用超参数优化变得棘手，因为超参数优化技术的选择可能偏袒比较中的某些模型。
引用
@article{arxiv.2311.15854,
title = {A systematic study comparing hyperparameter optimization engines on tabular data},
author = {Balazs Kegl},
journal= {arXiv preprint arXiv:2311.15854},
year = {2023}
}