超参数优化工具的对比研究
机器学习
2022-01-19 v1
摘要
大多数机器学习模型除参数外还有关联的超参数。虽然算法给出参数的解，但其对模型性能的效用高度依赖于超参数的选择。为获得模型的鲁棒性能，有必要找出正确的超参数组合。超参数优化（HPO）是一种系统性过程，有助于找到它们的正确取值。此目的的常规方法是网格搜索与随机搜索，二者在工业规模应用中均存在问题。因此近期提出了一系列基于贝叶斯优化与进化算法原理的策略，可缓解生产环境中的运行时问题并提升鲁棒性能。本文对比了四个 Python 库——Optuna、Hyper-opt、Optunity 与基于序列模型的算法配置（SMAC）——在超参数优化上的性能。这些工具的绩效用两个基准测试评估：其一是求解组合算法选择与超参数优化（CASH）问题；其二是 NeurIPS 黑盒优化挑战，其中须从一组相关架构约束与超参数中选择多层感知机（MLP）架构。基准测试使用六个真实世界数据集完成。实验发现，Optuna 在 CASH 问题上表现更优，而 HyperOpt 在 MLP 问题上更优。
引用
@article{arxiv.2201.06433,
title = {A Comparative study of Hyper-Parameter Optimization Tools},
author = {Shashank Shekhar and Adesh Bansode and Asif Salim},
journal= {arXiv preprint arXiv:2201.06433},
year = {2022}
}
备注
Selected and presented at IEEE CSDE 2021. To be published in Proceedings of IEEE CSDE 2021