Alpha Entropy Search: 基于信息的贝叶斯优化新方法

基于信息论的贝叶斯优化(BO)方法在多个任务中取得了最先进的成果。这些技术严重依赖于Kullback-Leibler(KL)散度来计算获取函数。在本 work 中，我们引入一种新颖的、基于信息的获取函数类，称为Alpha Entropy Search(AES)。AES基于{\alpha}散度，该散度概括了KL散度。迭代地，AES选择下一个评估点，该点的相关目标值相对于优化问题全局最大值的位置及其相关值的最高水平。以{\alpha}散度衡量相关性，作为KL散度的替代方案。直观地说，这有利于在关于全局最大值最具信息性的点处评估目标函数。{\alpha}散度具有自由参数{\alpha}，该参数确定散度的行为，在单一模式处评估分布差异与全局评估差异之间进行权衡。因此，不同{\alpha}的值导致不同的获取函数。AES获取函数缺乏闭式表达式。然而，我们提出了一种使用截断高斯分布的高效且准确的近似方法。在实践中，可以由实践者选择{\alpha}的值，但本 work 建议同时考虑{\alpha}取值范围内的获取函数组合。我们在BOTorch中提供AES的实现，并在涉及深度神经网络超参数调优的合成、基准和真实世界实验中对其性能进行评估。这些实验显示，AES的性能在其他信息论获取函数，如JES、MES或PES方面具有竞争力。