面向黑盒优化算法最优集成的 GPU 加速穷举搜索
机器学习
2021-08-03 v3
摘要
黑盒优化对于调整复杂的机器学习算法至关重要，这些算法的特点是实验起来容易而理解起来困难。在本文中，我们证明了简单的黑盒优化算法集成可以超越任何单一算法。然而，寻找这样的最优集成需要大量的实验。我们提出了一个多 GPU 优化框架，通过并行运行大量实验来加速黑盒优化算法最优集成的暴力搜索。轻量级优化由 CPU 执行，而耗时的模型训练和评估则分配给 GPU。我们通过训练 270 万个模型并运行 541,440 次优化来评估 15 个优化器。在 DGX-1 上，搜索时间从两个 20 核 CPU 上的 10 多天缩短到 8 个 GPU 上的不到 24 小时。凭借由 GPU 加速穷举搜索找到的最优集成，我们获得了 NeurIPS 2020 黑盒优化挑战赛的亚军。
引用
@article{arxiv.2012.04201,
title = {GPU Accelerated Exhaustive Search for Optimal Ensemble of Black-Box Optimization Algorithms},
author = {Jiwei Liu and Bojan Tunguz and Gilberto Titericz},
journal= {arXiv preprint arXiv:2012.04201},
year = {2021}
}
备注
The implementation of Nevergrad in the competition toolkit has a bug and it is actually random search. In this version, all references of "nevergrad" are replaced by "Random Search"