BILBO：双层贝叶斯优化
机器学习
2025-05-29 v2 机器学习
摘要
双层优化的特征在于其两层优化结构，其中上层问题受下层最优解的约束，这类结构在现实问题中普遍存在。下层最优解带来的约束构成了重大挑战，尤其是在有噪声、有约束且无导数的环境中，因为重复进行下层优化会导致样本效率低下，且预测的下层解可能并非最优。我们提出了双层贝叶斯优化（BILBO），这是一种针对具有黑箱函数的一般双层问题的新型贝叶斯优化算法，它能够同时优化上层和下层问题，无需像现有方法那样重复进行下层优化。BILBO 从基于置信界的可信集中采样，该可信集限制了下层的次优性。此外，BILBO 每次迭代只选择一个函数查询，其函数查询选择策略融合了估计下层解的不确定性，并包含一个条件重分配机制以鼓励对下层目标的探索。BILBO 的性能在理论上得到了保证，对于常用核函数具有次线性遗憾界，并在多个合成与现实世界问题上进行了实证评估。
引用
@article{arxiv.2502.02121,
title = {BILBO: BILevel Bayesian Optimization},
author = {Ruth Wan Theng Chew and Quoc Phong Nguyen and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2502.02121},
year = {2025}
}