基于博弈论扩展贝叶斯优化

我们引入了算法贝叶斯优化 (Bayesian Optimization, BO) 与虚拟博弈 (Fictitious Play, BOFiP)，用于高维黑盒函数的优化。BOFiP 将原始高维空间分解为由不重叠维度集合定义的若干子空间。这些集合在算法开始时随机生成，并构成原始空间维度的划分。BOFiP 通过子空间内交替的 BO 以及子空间间的信息交换来搜索原始空间，以更新子空间函数评估。基本思想是将高维优化分布到低维子空间上，其中每个子空间为等利益博弈中的一个参与者。在每次迭代中，BO 产生近似最优响应以更新参与者的信念分布。信念更新与 BO 交替进行，直至满足停止条件。高维问题在实际应用中很常见，BO 文献中的若干研究已强调由于与模型超参数估计相关的计算复杂度，扩展到高维十分困难。该复杂度在问题维度上是指数级的，导致大多数技术随着输入维度的增加而出现显著的性能损失。我们将 BOFiP 与高维黑盒优化领域的若干最先进方法进行比较。数值实验展示了其在三个基准目标函数上从 20 到 1000 维的性能。一个神经网络架构设计问题以分别 6 到 92 层中的 42 到 911 个节点进行测试，得到具有 500 到 10,000 个权重的网络。这些实验集经验性地表明，BOFiP 优于其竞争者，在不同问题与递增的问题维度上均展现出一致的性能。