利用梯度的贝叶斯优化

贝叶斯优化在昂贵评估的多模态目标函数的全局优化中取得了成功。然而，与大多数优化方法不同，贝叶斯优化通常不使用导数信息。在本文中，我们展示了贝叶斯优化如何利用导数信息来减少获得良好性能所需的目标函数评估次数。特别地，我们开发了一种新颖的贝叶斯优化算法——导数启用的知识梯度（dKG），我们证明了该算法具有一步贝叶斯最优性、渐近一致性，并且其一步信息价值大于无导数设置下可能达到的值。我们的方法可适应含噪和不完整的导数信息，既有序列形式也有批量形式，并且可以选择性地通过自动保留单个方向导数来降低推理的计算成本。我们还使用一种新颖的快速无离散化技术计算了d-KG采集函数及其梯度。我们展示了d-KG在包括逻辑回归、深度学习、核学习和k-最近邻在内的基准测试上，相较于广泛的带梯度和不带梯度的优化方法，均提供了最先进的性能。