机器学习算法超参数调优的重要性
机器学习
2020-07-16 v1 机器学习
摘要
许多机器学习算法的性能取决于其超参数设置。本研究的目的是确定调优某个超参数是否重要，或者是否可以安全地设为默认值。我们提出一种基于非劣效性检验与调优风险（即不调优而将超参数设为默认值所导致的性能损失）来确定超参数调优重要性的方法。由于我们的方法需要默认参数的概念，我们给出一个可用来确定合理默认参数的简单过程。我们在使用来自OpenML的59个数据集的基准研究中应用了所提方法。结果显示，将特定超参数保留为默认值在非劣效性上不逊于调优这些超参数。在某些情况下，将超参数保留为默认值甚至优于使用有限迭代次数的搜索过程进行调优。
引用
@article{arxiv.2007.07588,
title = {Importance of Tuning Hyperparameters of Machine Learning Algorithms},
author = {Hilde J. P. Weerts and Andreas C. Mueller and Joaquin Vanschoren},
journal= {arXiv preprint arXiv:2007.07588},
year = {2020}
}