基于汤普森采样的异步并行贝叶斯优化
机器学习
2017-05-26 v1 机器学习
摘要
我们设计并分析了经典汤普森采样（Thompson sampling, TS）过程在贝叶斯优化（Bayesian optimisation, BO）中的变体，适用于函数评估代价高昂但可并行执行的场景。我们的理论分析表明，在同步或异步并行设置中直接应用顺序汤普森采样算法会产生一个令人惊讶的强大结果：将 次评估分配给 个工作者，本质上等价于顺序执行 次评估。此外，通过对完成一次函数评估所需时间进行建模，我们证明在时间约束下，异步并行 TS 实现的渐近遗憾值低于同步和顺序版本。这些结果得到了实验分析的补充，表明异步 TS 在模拟实验和卷积神经网络的超参数调优应用中均优于一系列现有的并行 BO 算法。除此之外，所提出的过程在概念和计算上都比现有的并行 BO 工作简单得多。
引用
@article{arxiv.1705.09236,
title = {Asynchronous Parallel Bayesian Optimisation via Thompson Sampling},
author = {Kirthevasan Kandasamy and Akshay Krishnamurthy and Jeff Schneider and Barnabas Poczos},
journal= {arXiv preprint arXiv:1705.09236},
year = {2017}
}