机器学习模型的超参数损失景观：一项探索性研究

以往关于机器学习（ML）模型超参数优化（HPO）的努力主要集中于算法进展，而对底层超参数（HP）损失景观的地形知之甚少，而后者在支配 HPO 搜索过程中起基础作用。虽有若干工作对各种 ML 系统进行了适应度景观分析（FLA），但它们局限于孤立景观的性质，未考察它们之间的潜在结构相似性。探索此类相似性可为理解现代 HPO 方法背后的机制提供新视角，但一直缺失，可能由于大规模景观构建代价高昂且缺乏有效分析方法。本文中，我们在 63 个数据集上跨不同保真度映射了 6 个代表性 ML 模型的 1,500 个 HP 损失景观，涉及 11M+ 配置。通过对这些景观进行细粒度可视化与专用 FLA 指标的探索性分析，我们观察到跨广泛模型、数据集与保真度的相似景观地形，并阐明了 HPO 中若干核心议题。