中文

异步 ε-贪婪贝叶斯优化

机器学习 2021-06-14 v4 人工智能 机器学习

摘要

批量贝叶斯优化(BO)是一种用于优化昂贵黑盒函数的成功技术。异步 BO 可以在一次评估结束时立即开始新的评估,从而最大限度地利用资源,减少挂钟时间。为了最大化资源分配,我们开发了一种新颖的异步 BO 方法 AEGiS(Asynchronous ϵ\epsilon-Greedy Global Search,异步 ε-贪婪全局搜索),该方法将贪婪搜索(利用代理模型的均值预测)与 Thompson 采样以及从描述利用(代理均值预测)与探索(代理后验方差)之间权衡的近似 Pareto 集中随机选择相结合。我们在合成基准问题、元代理超参数调优问题和真实世界问题上通过实验证明了 AEGiS 的有效性,表明 AEGiS 通常优于现有的异步 BO 方法。在仅有单个工作节点可用时,其性能不劣于使用期望改进的 BO。

关键词

引用

@article{arxiv.2010.07615,
  title  = {Asynchronous \epsilon-Greedy Bayesian Optimisation},
  author = {George De Ath and Richard M. Everson and Jonathan E. Fieldsend},
  journal= {arXiv preprint arXiv:2010.07615},
  year   = {2021}
}

备注

Accepted for the 37th conference on Uncertainty in Artificial Intelligence (UAI 2021). 11 pages (main paper) + 22 pages (supplementary material)