基于深度自回归网络的批量多保真贝叶斯优化
机器学习
2021-10-27 v2 机器学习
摘要
贝叶斯优化（BO）是一种用于优化黑盒、评估代价高昂的函数的有力方法。为实现代价与精度之间的灵活权衡，许多应用允许以不同保真度评估函数。为降低优化代价同时最大化效益-成本比，本文提出基于深度自回归网络的批量多保真贝叶斯优化（BMBO-DARN）。我们使用一组贝叶斯神经网络构建完全自回归模型，该模型具有足够强的表达能力以捕捉所有保真度之间强烈而复杂的关系，从而提升代理学习与优化性能。此外，为提升查询的质量与多样性，我们开发了一种简单而高效的批量查询方法，无需对任何保真度进行组合搜索。我们基于最大值熵搜索（MES）原理提出批量采集函数，其对高度相关的查询进行惩罚并鼓励多样性。我们利用后验样本与矩匹配实现采集函数的高效计算，并对每个保真度-输入对交替优化，从而保证每一步均有改进。我们在四个真实世界的超参数优化应用上展示了本方法的优势。
引用
@article{arxiv.2106.09884,
title = {Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks},
author = {Shibo Li and Robert M. Kirby and Shandian Zhe},
journal= {arXiv preprint arXiv:2106.09884},
year = {2021}
}