贝叶斯优化与利普希茨优化的结合
机器学习
2020-07-29 v2 机器学习
摘要
贝叶斯优化与利普希茨优化已发展出优化黑盒函数的替代技术。它们各自利用了关于函数的不同形式先验。本工作中，我们探索结合这些技术以实现更好的全局优化策略。具体而言，我们提出在传统 BO 算法中使用利普希茨连续性假设的方法，称之为利普希茨贝叶斯优化（LBO）。该方法不增加渐近运行时间，且在某些情况下大幅改善性能（最坏情况下性能相近）。事实上，在某一特定设定下，我们证明使用利普希茨信息相较于单独使用贝叶斯优化可得到相同或更好的后悔界。此外，我们提出一种简单启发式方法来估计利普希茨常数，并证明利普希茨常数的增长估计在某种意义上是“无害的”。我们在 15 个数据集上采用 4 种采集函数进行的实验表明，最坏情况下 LBO 性能与底层 BO 方法相似，而某些情况下表现大幅更优。尤其是 Thompson 采样通常见到显著改进（因利普希茨信息纠正了其众所周知的“过度探索”现象），且其 LBO 变体常优于其他采集函数。
引用
@article{arxiv.1810.04336,
title = {Combining Bayesian Optimization and Lipschitz Optimization},
author = {Mohamed Osama Ahmed and Sharan Vaswani and Mark Schmidt},
journal= {arXiv preprint arXiv:1810.04336},
year = {2020}
}