JUMBO：利用离线数据可扩展的多任务贝叶斯优化
机器学习
2022-03-11 v2 人工智能
摘要
多任务贝叶斯优化（MBO）的目标是在可获取其他辅助函数的离线评估的条件下，最小化精确优化目标黑盒函数所需的查询次数。当离线数据集很大时，已有方法的可扩展性是以表达能力和推断质量为代价的。我们提出JUMBO，一种MBO算法，它通过基于由训练两个高斯过程（GP）导出的获取信号组合来查询额外数据，从而规避这些局限：一个直接在输入域中运行的冷GP，以及一个在利用离线数据预训练的深度神经网络特征空间中运行的暖GP。这种分解可动态控制来自在线与离线数据的信息可靠性，而预训练神经网络的使用允许扩展到大型离线数据集。理论上，我们推导了JUMBO的遗憾界，并表明其在类似于GP-UCB（Srinivas等，2010）的条件下实现无遗憾。在实验上，我们在两个真实世界优化问题上展示了相较已有方法的显著性能提升：超参数优化与自动化电路设计。
引用
@article{arxiv.2106.00942,
title = {JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data},
author = {Kourosh Hakhamaneshi and Pieter Abbeel and Vladimir Stojanovic and Aditya Grover},
journal= {arXiv preprint arXiv:2106.00942},
year = {2022}
}