面向高吞吐贝叶斯优化的信息论诱导点布置
机器学习
2022-07-14 v2 机器学习
摘要
稀疏高斯过程是高吞吐贝叶斯优化（BO）循环的关键组成部分——这是一种日益常见的场景，其中评估预算庞大且高度并行化。通过使用可用数据的代表性子集构建近似后验，稀疏模型依靠一小部分伪观测（即所谓的诱导点）替代完整数据集，大幅降低了代理建模的计算成本。然而，当前设计诱导点的方法不适用于 BO 循环，因为它们旨在降低目标函数的全局不确定性。因此，精确优化所需的高保真建模（针对有前景且数据密集的区域）被牺牲，计算资源反被浪费在已确知为次优的空间区域建模上。受基于熵的 BO 方法启发，我们提出了一种新颖的诱导点设计，采用原理性信息论准则来选择诱导点。通过选择能同时最大化降低全局不确定性及目标函数最大值不确定性的诱导点，我们构建了能够支撑高精度高吞吐 BO 的代理模型。
引用
@article{arxiv.2206.02437,
title = {Information-theoretic Inducing Point Placement for High-throughput Bayesian Optimisation},
author = {Henry B. Moss and Sebastian W. Ober and Victor Picheny},
journal= {arXiv preprint arXiv:2206.02437},
year = {2022}
}