贝叶斯优化与主动学习的知情初始化
机器学习
2025-12-16 v2
摘要
贝叶斯优化是一种广泛用于优化高昂黑盒函数的方法，依赖于如高斯过程等概率代理模型。代理模型的质量对于良好的优化性能至关重要，尤其是在仅能评估少量批次点的 few-shot 设置下。在此设置下，初始化在塑造代理预测质量和引导后续优化方面发挥关键作用。尽管如此，实践者通常依赖（准）随机设计以覆盖输入空间。然而，这些方法忽略了两个关键因素：(a) 空间填充设计可能并非理想用于减少预测不确定性，(b) 在初始化期间高效的超参数学习对于高质量预测至关重要，而这可能与空间填充设计相冲突。为此，我们提出 Hyperparameter-Informed Predictive Exploration (HIPE)，一种新颖的获取策略，通过信息论原则平衡预测不确定性减少与超参数学习。我们在高斯过程设置下推导 HIPE 的闭式表达式，并通过主动学习和 few-shot BO 中的大量实验展示其有效性。我们的结果表明，HIPE 在预测准确性、超参数识别以及后续优化性能方面均优于标准初始化策略，尤其在许多实际应用中相关的大批量、few-shot 设置下表现突出。
引用
@article{arxiv.2510.23681,
title = {Informed Initialization for Bayesian Optimization and Active Learning},
author = {Carl Hvarfner and David Eriksson and Eytan Bakshy and Max Balandat},
journal= {arXiv preprint arXiv:2510.23681},
year = {2025}
}
备注
28 pages