利用图笛卡尔积的组合贝叶斯优化
机器学习
2019-10-29 v2 机器学习
摘要
本文关注目标定义在组合搜索空间（包括有序与分类变量）上的贝叶斯优化（BO）。尽管组合 BO 有大量潜在应用，如芯片组配置搜索与神经架构搜索，目前仅有少数方法被提出。我们引入 COMBO，一种基于高斯过程（GP）的新 BO 方法。COMBO 通过利用组合图来量化组合搜索空间上函数的“平滑性”。组合图的顶点集由变量的所有可能联合赋值构成，而边由表示各独立变量的子图之图笛卡尔积构造。在此组合图上，我们提出一种 ARD 扩散核，使 GP 能够建模变量间的高阶交互从而提升性能。此外，在 ARD 扩散核中对尺度参数使用 Horseshoe 先验，可得到有效的变量选择过程，使 COMBO 适用于高维问题。在计算上，COMBO 中的图笛卡尔积使图傅里叶变换的计算复杂度呈线性而非指数增长。我们在大量现实基准上验证 COMBO，包括加权最大可满足性问题和神经架构搜索。COMBO 在保持一致的计算与统计效率的同时，稳定优于最新 SOTA。
引用
@article{arxiv.1902.00448,
title = {Combinatorial Bayesian Optimization using the Graph Cartesian Product},
author = {Changyong Oh and Jakub M. Tomczak and Efstratios Gavves and Max Welling},
journal= {arXiv preprint arXiv:1902.00448},
year = {2019}
}
备注
Accepted to NeurIPS 2019, code: https://github.com/QUVA-Lab/COMBO