预测黑盒优化搜索空间的效用：一种简单的、预算感知的方法
机器学习
2021-12-20 v2
摘要
黑盒优化需要指定一个用于探索解的搜索空间，例如一个 d 维紧空间，这一选择对于在合理预算下获得最佳结果至关重要。遗憾的是，在许多应用中确定高质量的搜索空间可能具有挑战性。例如，当在有限预算下针对新问题调优机器学习流水线的超参数时，必须在排除潜在有前景的区域与保持搜索空间足够小以便可处理之间取得平衡。本工作的目标是通过深度神经网络调优中的示例应用，引出在预算条件下预测搜索空间质量这一问题，并提供一种基于应用于概率响应面模型的效用函数的简单评分方法，类似于贝叶斯优化。我们展示了所提出的方法能够在多种情形下计算出有意义的预算条件分数。我们还提供了实验证据，表明准确的分数可用于构建和剪枝搜索空间。最终，我们认为对搜索空间进行评分应当成为深度学习实验工作流中的标准实践。
引用
@article{arxiv.2112.08250,
title = {Predicting the utility of search spaces for black-box optimization: a simple, budget-aware approach},
author = {Setareh Ariafar and Justin Gilmer and Zachary Nado and Jasper Snoek and Rodolphe Jenatton and George E. Dahl},
journal= {arXiv preprint arXiv:2112.08250},
year = {2021}
}