基于行列式点过程的批量高斯过程赌博机优化
机器学习
2016-11-15 v1
摘要
高斯过程赌博机优化已成为优化含噪黑盒函数的有力工具。机器学习中的一个例子是超参数优化，其中目标函数的每次评估都需要训练模型，可能涉及数天甚至数周的计算。这种所谓的“贝叶斯优化”的大多数方法只允许对参数空间进行顺序探索。然而，尤其当我们拥有大型并行处理设施时，通常希望提出批量或参数值集合以同时探索。批量方法需要对批次中不同评估之间的交互进行建模，这在复杂场景下可能代价高昂。在本文中，我们提出了一种通过行列式点过程(DPPs)对批次的多样性进行建模来并行化贝叶斯优化的新方法，其核函数自动学习。这使我们能够推广先前的结果，并基于DPP采样证明更好的后悔界。我们在多种合成和真实世界的机器人及超参数优化任务上的实验表明，我们的基于DPP的方法，尤其是那些基于DPP采样的方法，优于最先进的方法。
引用
@article{arxiv.1611.04088,
title = {Batched Gaussian Process Bandit Optimization via Determinantal Point Processes},
author = {Tarun Kathuria and Amit Deshpande and Pushmeet Kohli},
journal= {arXiv preprint arXiv:1611.04088},
year = {2016}
}
备注
To appear at NIPS 2016