基于高斯过程的多保真度贝叶斯优化通用框架
机器学习
2018-11-05 v1 机器学习
摘要
当面对多个成本不同且相互依赖的信息源时，我们如何高效地收集信息以优化未知函数？例如，在优化机器人系统时，智能地权衡计算机仿真与真实机器人测试可带来显著节省。现有方法（如多保真度 GP-UCB 或基于熵搜索的方法）要么对不同保真度间的交互做简化假设，要么使用缺乏理论保证的简单启发式策略。本文研究具有多输出间复杂结构依赖的多保真度贝叶斯优化，并提出 MF-MI-Greedy——一种解决该问题的原则性算法框架。具体而言，我们基于与目标函数共享的潜在结构，使用加性高斯过程对不同保真度建模。随后采用代价敏感的互信息增益进行高效贝叶斯全局优化。我们提出一种包含不同保真度成本的简化遗憾概念，并证明 MF-MI-Greedy 可实现低遗憾。我们在合成与真实世界数据集上展示了算法的强劲实证性能。
引用
@article{arxiv.1811.00755,
title = {A General Framework for Multi-fidelity Bayesian Optimization with Gaussian Processes},
author = {Jialin Song and Yuxin Chen and Yisong Yue},
journal= {arXiv preprint arXiv:1811.00755},
year = {2018}
}