中文

$\epsilon$-shotgun:$\epsilon$-贪婪批量贝叶斯优化

机器学习 2020-03-31 v2 神经与进化计算 机器学习

摘要

贝叶斯优化是一种流行的、基于代理模型的优化昂贵黑盒函数的方法。给定代理模型,下一个需要昂贵评估的位置通过最大化易于查询的采集函数来选择。我们提出了一种用于批量设置下贝叶斯优化的 ϵ\epsilon-贪婪过程,其中黑盒函数可以并行多次评估。我们的 ϵ\epsilon-shotgun 算法利用模型的预测、不确定性以及景观变化率的近似值,来确定围绕假定位置分布的批量解的散布程度。初始目标位置要么以利用方式在均值预测上选择,要么——以概率 ϵ\epsilon——从设计空间的其他地方选择。这导致在函数快速变化的区域以及预测为良好(即接近预测最优值)的位置处采样更密集,而在函数更平坦和/或质量较差的区域采样更分散。我们在一系列合成函数和两个真实世界问题上对 ϵ\epsilon-shotgun 方法进行了实证评估,发现它们至少与最先进的批量方法表现相当,并且在许多情况下超越了其性能。

关键词

引用

@article{arxiv.2002.01873,
  title  = {$\epsilon$-shotgun: $\epsilon$-greedy Batch Bayesian Optimisation},
  author = {George De Ath and Richard M. Everson and Jonathan E. Fieldsend and Alma A. M. Rahat},
  journal= {arXiv preprint arXiv:2002.01873},
  year   = {2020}
}

备注

Genetic and Evolutionary Computation Conference 2020 (GECCO '20). 9 pages (main paper) + 11 pages (supplementary material). Code avaliable at https://github.com/georgedeath/eshotgun