利用二值辅助信息的贝叶斯优化
机器学习
2019-06-19 v1 机器学习
摘要
本文提出新颖的混合类型贝叶斯优化（BO）算法，通过利用可更廉价获得的二值类型相关辅助信息来加速目标目标函数的优化，例如在强化学习的策略搜索和使用早停的机器学习模型超参数调优中。为此，我们首先提出一种混合类型多输出高斯过程（MOGP）来联合建模连续目标函数与二值辅助函数。然后，基于 MOGP 对目标与辅助函数的预测置信，我们提出混合类型熵搜索（MT-ES）和混合类型预测熵搜索（MT-PES）等基于信息的采集函数用于混合类型 BO。MT-ES 和 MT-PES 的精确采集函数无法以闭式计算，需要近似。我们通过一种新颖的混合类型随机特征近似来推导 MT-PES 的高效近似，该近似利用目标与辅助函数间的互相关结构，使用这些函数评估的观测来改进对全局目标最大化器的置信。我们提出新的实用约束，将全局目标最大化器与二值辅助函数相关联。我们通过合成与真实世界实验对 MT-ES 和 MT-PES 的性能进行了实证评估。
引用
@article{arxiv.1906.07277,
title = {Bayesian Optimization with Binary Auxiliary Information},
author = {Yehong Zhang and Zhongxiang Dai and Kian Hsiang Low},
journal= {arXiv preprint arXiv:1906.07277},
year = {2019}
}
备注
35th Conference on Uncertainty in Artificial Intelligence (UAI 2019), Extended version with derivations and more experimental results, 19 pages