基于无碰撞正则化的贝叶斯优化表示学习

贝叶斯优化一直受到大规模、高维和非平稳特征数据集的挑战，这些特征在真实场景中很常见。近期工作尝试通过在经典高斯过程之前应用神经网络来学习潜在表示，以处理此类输入。我们表明，即使有恰当的网络设计，这种学习到的表示常常导致潜在空间中的碰撞：两个观测值显著不同的点在学习到的潜在空间中发生碰撞，导致优化性能下降。为解决此问题，我们提出LOCo，一种高效的深度贝叶斯优化框架，其采用一种新颖的正则化器来减少学习到的潜在空间中的碰撞，并鼓励从潜在空间到目标值的映射为Lipschitz连续。LOCo接收数据点对，并惩罚那些在潜在空间中过于接近而相对于其目标空间距离而言过近的点对。我们通过考察这种基于动态嵌入的贝叶斯优化算法的遗憾值，为LOCo提供了严格的理论依据，其中神经网络通过正则化器迭代重训练。我们的实证结果证明了LOCo在多个合成和真实世界基准贝叶斯优化任务上的有效性。