监督超参数配置的多保真度竞赛
机器学习
2023-06-02 v2 人工智能
摘要
多保真度（灰盒）超参数优化技术（HPO）近来已成为调优深度学习方法有前景的方向。然而，现有方法在将 HPO 预算分配给超参数配置方面存在次优问题。在本工作中，我们引入 DyHPO，一种贝叶斯优化方法，其学习在所有可行配置的动态竞赛中决定进一步训练哪个超参数配置。我们提出一种用于高斯过程的新型深度核，其嵌入学习曲线动态，以及一种融合多预算信息的采集函数。我们通过包含 50 个数据集（表格、图像、NLP）和多样架构（MLP、CNN/NAS、RNN）的大规模实验，展示了 DyHPO 相对于最先进超参数优化方法的显著优越性。
引用
@article{arxiv.2202.09774,
title = {Supervising the Multi-Fidelity Race of Hyperparameter Configurations},
author = {Martin Wistuba and Arlind Kadra and Josif Grabocka},
journal= {arXiv preprint arXiv:2202.09774},
year = {2023}
}
备注
Accepted at NeurIPS 2022