基于 BoTorch、GPyTorch 和 Ax 的贝叶斯超参数优化
机器学习
2021-07-05 v2 机器学习
摘要
深度学习模型充满超参数，这些超参数在学习过程开始前需手动设定。在如此高维空间中寻找这些超参数的最佳配置，且模型训练与验证耗时且昂贵，并非一项平凡的挑战。贝叶斯优化是一种用于超参数联合优化的强大工具，能高效权衡超参数空间的探索与利用。在本文中，我们讨论贝叶斯超参数优化，包括超参数优化、贝叶斯优化以及高斯过程。我们还回顾了 BoTorch、GPyTorch 和 Ax，这三个我们分别用于贝叶斯优化、高斯过程推断和自适应实验的新开源框架。在实验中，我们将贝叶斯超参数优化应用于加权组池化中的组权重优化，该池化将无监督分层图自编码器学习与有监督图预测学习在分子图上耦合。我们发现，Ax、BoTorch 和 GPyTorch 共同提供了一个简单易用但功能强大的贝叶斯超参数优化框架，利用 Ax 的高级 API 构建并运行完整的优化循环并返回最佳超参数配置。
引用
@article{arxiv.1912.05686,
title = {Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax},
author = {Daniel T. Chang},
journal= {arXiv preprint arXiv:1912.05686},
year = {2021}
}