贝叶斯优化中的动态先验用于超参数优化
机器学习
2026-02-04 v2
摘要
贝叶斯优化 (BO) 是超参数优化 (HPO) 的广泛使用方法。然而，大多数现有 HPO 方法仅在初始化时纳入专家知识，限制了实践者在新见解不断涌现时影响优化过程的能力。这限制了 BO 在迭代机器学习开发工作流程中的适用性。我们提出 DynaBO，一个使优化过程持续可被用户控制的 BO 框架。DynaBO 通过在获取函数中引入衰减的、先验加权偏好来利用提供的用户先验，同时保持渐近收敛性。为强化鲁棒性，我们引入数据驱动的警戒机制，可检测并拒绝误导性先验。我们证明了关于近乎必然收敛、对对抗性先验的鲁棒性以及在提供信息性先验时的加速收敛的理论结果。广泛的实验表明，DynaBO 在各种 HPO 基准测试中始终优于最前沿竞争方法，且对所有先验类型表现出色。我们的结果表明，DynaBO 使贝叶斯优化实现可靠且高效的协作，桥接了自动化与人工控制模型开发之间的差距。
引用
@article{arxiv.2511.02570,
title = {Dynamic Priors in Bayesian Optimization for Hyperparameter Optimization},
author = {Lukas Fehring and Marcel Wever and Maximilian Spliethöver and Leona Hennig and Henning Wachsmuth and Marius Lindauer},
journal= {arXiv preprint arXiv:2511.02570},
year = {2026}
}
备注
8 pages plus references and appendix