高每参数:机器学习算法超参数调优的大规模研究
机器学习
2022-09-05 v1
摘要
机器学习(ML)中的超参数已受到相当关注,超参数调优也被视为 ML 流程中的重要步骤。但此类调优究竟有多大用处?尽管此前已开展过小规模实验,本文中我们进行了大规模调查,具体涉及 26 种 ML 算法、250 个数据集(回归及二分类与多分类)、6 个评分指标以及 28,857,600 次算法运行。分析结果表明,对于许多 ML 算法,平均而言我们不应期望从超参数调优中获得显著收益,但可能存在某些默认超参数表现糟糕的数据集,且后者对某些算法比其他算法更甚。通过定义单一 hp_score 值(结合算法的累计统计),我们能够将 26 种 ML 算法从预期从超参数调优获益最多到最少进行排序。我们相信此类研究可服务于广大 ML 从业者。
引用
@article{arxiv.2207.06028,
title = {High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms},
author = {Moshe Sipper},
journal= {arXiv preprint arXiv:2207.06028},
year = {2022}
}