面向大规模超参数优化的异步去中心化贝叶斯优化
机器学习
2023-09-27 v4
摘要
贝叶斯优化（BO）是一种用于深度神经网络（DNNs）超参数优化的有前景的方法，其中每次模型训练可能耗时数分钟至数小时。在BO中，采用计算代价低廉的代理模型来学习参数配置与其性能（如准确率）之间的关系。并行BO方法通常采用单管理器/多工作节点的策略来同时评估多个超参数配置。尽管超参数评估时间显著，此类集中式方案中的开销阻碍了这些方法在大量工作节点上的扩展。我们提出了一种异步去中心化BO，其中每个工作节点运行顺序BO并通过共享存储异步通信其结果。我们将该方法扩展到1,920个并行工作节点（Polaris超级计算机的全部生产队列），且无计算效率损失，工作节点利用率超过95%，并在来自Exascale计算项目的CANDLE基准上展示了模型准确率的提升以及更快的收敛。
引用
@article{arxiv.2207.00479,
title = {Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization},
author = {Romain Egele and Isabelle Guyon and Venkatram Vishwanath and Prasanna Balaprakash},
journal= {arXiv preprint arXiv:2207.00479},
year = {2023}
}