默认机器学习超参数无法为贝叶斯优化提供信息性初始化
机器学习
2026-02-10 v1 人工智能
摘要
贝叶斯优化(BO)是超参数调优的标准工具，这得益于其在昂贵黑箱函数上的样本效率。尽管大多数BO流程以均匀随机初始化开始，但scikit-learn等流行机器学习库附带的默认超参数值编码了隐式的专家知识，并可作为加速收敛的信息性起点。尽管这一假设具有直观吸引力，但至今仍未得到充分检验。我们通过从以库默认值为中心的截断高斯分布中抽取点来初始化BO，从而形式化这一想法，并将所得轨迹与均匀随机基线进行比较。我们进行了广泛的实证评估，涵盖三个BO后端(BoTorch、Optuna、Scikit-Optimize)、三个模型族(随机森林、支持向量机、多层感知器)以及五个涵盖分类和回归任务的基准数据集。通过收敛速度和最终预测质量评估性能，并通过单边二项检验确定统计显著性。在所有条件下，基于默认值的初始化相比纯随机采样并未产生统计上显著的优越性，p值范围从0.141到0.908。对先前方差的敏感性分析证实，尽管更紧密地集中在默认值周围能改善早期评估，但这种短暂优势会随着优化进行而消失，最终性能保持不变。我们的结果没有证据表明默认超参数编码了有用的优化方向信息。因此，我们建议实践者将超参数调优视为模型开发的组成部分，并倾向于基于数据的原则性搜索策略，而非对库默认值的启发式依赖。
引用
@article{arxiv.2602.08774,
title = {Default Machine Learning Hyperparameters Do Not Provide Informative Initialization for Bayesian Optimization},
author = {Nicolás Villagrán Prieto and Eduardo C. Garrido-Merchán},
journal= {arXiv preprint arXiv:2602.08774},
year = {2026}
}