混合变量贝叶斯优化
机器学习
2020-08-05 v4 机器学习
摘要
对评估代价高昂、黑盒、混合变量函数（即具有连续与离散输入的函数）的优化是科学与工程中的难题且普遍存在的问题。在贝叶斯优化（BO）中，考虑完全连续或完全离散域的该问题特例已被广泛研究。然而，针对混合变量域的方法甚少，且它们均无法处理许多真实应用中出现的离散约束。本文中我们引入 MiVaBo，一种新颖的 BO 算法，用于高效优化混合变量函数，其结合了基于表达性特征表示的线性代理模型与 Thompson 采样。我们提出了一种优化其采集函数的有效方法，这是混合变量域中的一个挑战性问题，使 MiVaBo 成为首个能处理离散变量上复杂约束的 BO 方法。此外，我们提供了首个混合变量 BO 算法的收敛性分析。最后，我们表明在若干超参数调优任务（包括深度生成模型的调优）上，MiVaBo 比最先进的混合变量 BO 算法显著更具采样效率。
引用
@article{arxiv.1907.01329,
title = {Mixed-Variable Bayesian Optimization},
author = {Erik Daxberger and Anastasia Makarova and Matteo Turchetta and Andreas Krause},
journal= {arXiv preprint arXiv:1907.01329},
year = {2020}
}
备注
IJCAI 2020 camera-ready; 17 pages, extended version with supplementary material