利用循环学习率改进用于超参数调优的多保真度优化
计算机视觉与模式识别
2022-09-27 v1 机器学习
最优化与控制
摘要
尽管卷积神经网络（CNNs）不断发展，其性能却出人意料地依赖于超参数的选择。然而，由于现代 CNNs 训练时间长，高效探索大型超参数搜索空间仍然具有挑战性。多保真度优化通过提前终止无前景的配置，使得在给定预算下能探索更多超参数配置。但它常导致选择次优配置，因为高性能配置的训练在早期阶段通常收敛缓慢。在本文中，我们提出具有循环学习率的多保真度优化（MORL），将 CNNs 的优化过程融入多保真度优化中。MORL 缓解了慢启动问题，并实现了更精确的低保真度近似。我们在通用图像分类、迁移学习和半监督学习上的综合实验证明了 MORL 优于其他多保真度优化方法，如连续减半算法（SHA）和 Hyperband。此外，它在实际预算内相比手工调优的超参数配置实现了显著的性能提升。
引用
@article{arxiv.2209.12499,
title = {Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning},
author = {HyunJae Lee and Gihyeon Lee and Junhwan Kim and Sungjun Cho and Dohyun Kim and Donggeun Yoo},
journal= {arXiv preprint arXiv:2209.12499},
year = {2022}
}