面向具有切换成本的模块化黑盒系统的贝叶斯优化
机器学习
2021-10-13 v2 机器学习
摘要
大多数现有的黑盒优化方法假设被优化系统中的所有变量具有相等的代价，并且可以在每次迭代中自由改变。然而，在许多现实世界的系统中，输入经过一系列不同的操作或模块传递，使得处理早期阶段的变量更新代价更高。这种结构对数据处理流水线早期部分中变量的切换施加了代价。在这项工作中，我们提出了一种称为惰性模块化贝叶斯优化（LaMBO）的切换代价感知优化新算法。该方法通过早期模块中变量的被动改变，在最小化代价的同时高效识别全局最优。该方法具有理论依据，并在引入切换代价时实现消失后悔。我们将 LaMBO 应用于多个合成函数以及一个在神经科学应用中使用的三阶段图像分割流水线，在其中我们相比主流的代价感知贝叶斯优化算法获得了有希望的改进。我们的结果表明，LaMBO 是一种有效的黑盒优化策略，能够最小化模块化系统中的切换代价。
引用
@article{arxiv.2006.02624,
title = {Bayesian optimization for modular black-box systems with switching costs},
author = {Chi-Heng Lin and Joseph D. Miano and Eva L. Dyer},
journal= {arXiv preprint arXiv:2006.02624},
year = {2021}
}