GIBBON：通用基于信息的贝叶斯优化方法
机器学习
2021-10-27 v2 机器学习
摘要
本文描述了最大价值熵搜索（一种流行的贝叶斯优化（BO）方法）的通用扩展。针对信息增益这一信息论量提出了一种新颖的近似方法——信息增益是解决一系列BO问题的核心，包括连续与高度结构化离散空间中的含噪、多保真度与批量优化。此前，这些问题在信息论BO框架内被分别处理，各自需要不同的复杂近似方案，而批量BO除外，此前尚未提出任何计算轻量的信息论方法。GIBBON（General-purpose Information-Based Bayesian OptimisatioN，通用基于信息的贝叶斯优化）提供了一个适用于上述所有情形的统一原则性框架，在性能上超越现有方法的同时显著降低了计算开销。此外，GIBBON不要求问题的搜索空间为欧氏空间，因此是首个高性能且计算轻量的获取函数，支持在分子搜索与基因设计等通用高度结构化输入空间上进行批量BO。而且，我们对GIBBON的原则性推导自然地解释了基于行列式点过程的一种流行批量BO启发式方法。最后，我们在一组合成基准任务、分子搜索循环，以及一个针对可控实验噪声问题的具有挑战性的批量多保真度框架中对GIBBON进行了分析。
引用
@article{arxiv.2102.03324,
title = {GIBBON: General-purpose Information-Based Bayesian OptimisatioN},
author = {Henry B. Moss and David S. Leslie and Javier Gonzalez and Paul Rayson},
journal= {arXiv preprint arXiv:2102.03324},
year = {2021}
}