将高斯过程排除在循环之外

贝叶斯优化（BO）传统上用于求解函数评估代价高昂、因此观测样本较少的黑箱问题。然而，近年来人们越来越关注将BO应用于函数评估成本更低、观测样本更丰富的场景。在这一设定下，将BO扩展至大量观测样本N受到高斯过程（GP）代理模型的制约：GP超参数拟合的计算复杂度为O(N³)（现代实现中约降至O(N²)），且在每次BO迭代中都要重复进行。许多方法在采集阶段改善了扩展性，但超参数拟合的扩展性仍然很差，成为瓶颈。本文提出认知最近邻（ENN），一种GP的轻量级替代方案，通过K近邻观测估计函数值和不确定性（认知不确定性与偶然不确定性）。ENN在拟合和采集两个阶段的复杂度均为O(N)。我们的BO方法TuRBO-ENN用ENN替代TuRBO中的GP代理模型，并将Thompson采样采集策略替换为UCB = μ(x) + σ(x)。对于无噪声问题的特殊情况，我们可以通过对μ(x)和σ(x)进行非支配排序来完全省略拟合步骤，直接用其替代UCB。实验结果表明，在最多50,000个观测样本下，TuRBO-ENN将提案时间（即拟合时间+采集时间）相比TuRBO降低了一到两个数量级。