基于概率升维的通用批量贝叶斯优化的Quadrature方法
机器学习
2024-04-22 v2 数值分析
数值分析
机器学习
摘要
贝叶斯优化中的并行化是常见策略，但面临多个挑战：获取函数和核函数选择的灵活性、同时处理离散和连续变量的灵活性、模型指定不足以及快速大规模并行化。为此，我们引入了一个基于概率升维和核积分的通用且模块化的批量贝叶斯优化框架，称为SOBER，我们将其作为基于GPyTorch/BoTorch的Python库进行展示。我们的框架提供以下独特优势：（1）在统一方法下对下游任务具有灵活性。（2）梯度-free抽样器，不需要获取函数的梯度，具有域无关抽样优势（例如离散和混合变量、非欧几里得空间）。（3）域先验分布的灵活性。（4）自适应批量大小（自主确定最佳批量大小）。（5）对指定不完整的再生产核希尔伯特空间的鲁棒性。（6）自然的停止准则。
引用
@article{arxiv.2404.12219,
title = {A Quadrature Approach for General-Purpose Batch Bayesian Optimization via Probabilistic Lifting},
author = {Masaki Adachi and Satoshi Hayakawa and Martin Jørgensen and Saad Hamid and Harald Oberhauser and Michael A. Osborne},
journal= {arXiv preprint arXiv:2404.12219},
year = {2024}
}
备注
This work is the journal extension of the workshop paper (arXiv:2301.11832) and AISTATS paper (arXiv:2306.05843). 48 pages, 11 figures