Ada-BKB:基于自适应离散化的连续域可扩展高斯过程优化

高斯过程优化是一类成功的算法(如 GP-UCB),通过顺序评估来优化黑盒函数。然而,对于具有连续域的函数,高斯过程优化不得不依赖于空间的固定离散化,或在每次评估时求解一个非凸优化子问题。第一种方法会对性能产生负面影响,而第二种方法带来沉重的计算负担。第三种选择——仅近期在理论上被研究——是对函数域进行自适应离散化。尽管该方法避免了额外的非凸优化代价,总体计算复杂度仍然令人望而却步。诸如 GP-UCB 的算法运行时间为 $O(T^4)$,其中 $T$ 为迭代次数。本文中,我们提出 Ada-BKB(Adaptive Budgeted Kernelized Bandit,自适应预算核化_bandit),一种针对连续域函数的无遗憾高斯过程优化算法,可证明在 $O(T^2 d_\text{eff}^2)$ 内运行,其中 $d_\text{eff}$ 为所探索空间的有效维度,通常远小于 $T$。我们通过合成非凸函数与超参数优化这一真实问题的实验佐证了理论发现,证实了所提方法的良好实践性能。