通过空间扭曲将专家先验融入贝叶斯优化

贝叶斯优化是一种众所周知的用于优化昂贵黑盒函数的高样本效率方法。然而在处理大搜索空间时，算法在到达函数最优值前会经历若干低函数值区域。由于函数评估在金钱与时间上均很昂贵，缓解该问题是可取的。缓解此冷启动阶段的一种途径是利用可加速优化的先验知识。在标准形式下，贝叶斯优化假设搜索空间中任意点作为最优点的似然相等。因此，任何能提供关于函数最优值信息的先验知识都将提升优化性能。本文中，我们通过先验分布表示关于函数最优值的先验知识。该先验分布随后被用于扭曲搜索空间，使得空间在函数最优值高概率区域附近扩张、在低概率区域附近收缩。我们通过重新定义核矩阵将此先验直接融入函数模型（高斯过程），这使得该方法可与任意采集函数配合，即采集无关（acquisition agnostic）方法。我们通过若干基准函数的优化以及两种算法——支持向量机（SVM）与随机森林——的超参数调节，展示了我们的方法相对于标准贝叶斯优化方法的优越性。