超参数优化中的过度调优

超参数优化（HPO）旨在识别出使最终模型对未见数据具有良好泛化的优化超参数配置（HPC）。由于无法直接优化预期泛化误差，必须采用抽样策略（如留出或交叉验证）来估计。这种方法隐式地假设最小化验证误差会导致更好的泛化。然而，由于验证误差估计本质上是随机的且取决于抽样策略，便自然提出了一个问题：是否会导致在 HPO 级别进行过度优化，从而类似于基于经验风险最小化在模型训练中发生的过拟合？本文调查了这种现象，我们称之为超参数优化的过度调优（overtuning），这是一种特定于 HPO 的过拟合形式。尽管其实际相关性很大，过度调优在 HPO 和 AutoML 文献中仅受到有限的关注。我们提供了对过度调优的正式定义，并将其与诸如 meta-overfitting 等相关概念区分开来。随后，我们对 HPO 基准数据进行大规模重新分析，以评估过度调优的普遍性和严重程度。我们的结果表明，过度调优比此前假设的更为常见，通常轻微但偶尔也很严重。在约 10% 的情况下，过度调优导致选择的看似最优的 HPC 的泛化误差优于默认值或首次尝试的配置。我们进一步分析了诸如性能指标、抽样策略、数据集大小、学习算法和 HPO 方法等因素对过度调优的影响，并讨论了缓解策略。我们的结果突显了在小数据场景中提高对过度调优的 awareness 的必要性，表明应进一步研究缓解策略。