HPO：我们不会再被误导
机器学习
2022-08-09 v1 人工智能
计算机视觉与模式识别
摘要
超参数优化（HPO）是一个被充分研究的领域。然而，HPO 流水线中各组件的效果与交互尚未得到充分探究。于是我们自问：HPO 的景观是否会被用于评估单个配置的流水线所偏置？为解答该问题，我们提出使用适应度景观分析来研究 HPO 流水线对 HPO 问题的影响。特别地，我们研究了 DS-2019 HPO 基准数据集，寻找可能表明评估流水线故障的模式，并将其与 HPO 性能相关联。我们的主要发现是：(i) 在大多数实例中，大量不同的超参数组（即多个配置）产生相同的不良性能，极可能与多数类预测模型相关；(ii) 在这些情况下，观察到观测适应度与邻域平均适应度之间的相关性变差，可能使基于局部搜索的 HPO 策略部署更加困难。最后，我们得出结论：HPO 流水线的定义可能对 HPO 景观产生负面影响。
引用
@article{arxiv.2208.03320,
title = {HPO: We won't get fooled again},
author = {Kalifou René Traoré and Andrés Camero and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2208.03320},
year = {2022}
}
备注
Accepted at the Late-Breaking Workshop Track of AutoML Conference 2022