基于调频核的混合变量贝叶斯优化
机器学习
2022-07-19 v2 机器学习
摘要
贝叶斯优化 (BO) 的样本效率常由高斯过程 (GP) 代理模型提升。然而，在混合变量空间上，GP 之外的代理模型更为普遍，主要由于缺乏能跨不同类型变量建模复杂依赖的核。本文中，我们提出调频 (FM) 核灵活建模不同类型变量间的依赖，从而使 BO 享有进一步提升的样本效率。FM 核利用连续变量上的距离来调制由离散变量导出的图傅里叶谱。然而，调频并非总能定义具有相似度度量行为的核（即对更相似的点对返回更高值）。因此，我们指明并证明了 FM 核为正定且展现相似度度量行为的条件。实验中，我们展示了使用 FM 核的 GP BO (BO-FM) 提升的样本效率。在合成问题与超参数优化问题上，BO-FM 一致优于竞争对手。同时，在相同问题上从经验上展示了调频原则的重要性。在神经架构与 SGD 超参数的联合优化上，BO-FM 优于包括正则化进化 (RE) 与 BOHB 在内的竞争对手。值得注意的是，即便 RE 与 BOHB 使用三倍评估次数，BO-FM 仍表现更优。
引用
@article{arxiv.2102.12792,
title = {Mixed Variable Bayesian Optimization with Frequency Modulated Kernels},
author = {Changyong Oh and Efstratios Gavves and Max Welling},
journal= {arXiv preprint arXiv:2102.12792},
year = {2022}
}
备注
Proceedings of the Thirty-Seventh Conference on Uncertainty in Artificial Intelligence, PMLR 161:950-960, 2021