更聪明而非更费力地调参：浅层网络学习率调优的原则性方法
机器学习
2020-10-01 v3 最优化与控制
机器学习
摘要
有效的超参数调优对于保证神经网络所为人知的表现至关重要。本工作针对浅层前馈神经网络，提出了一种选择学习率的原则性方法。我们将学习率与训练中所最小化目标的梯度Lipschitz常数相关联。推导了该常数的一个上界，并提出了一种利用所推导上界、总能产生非发散轨迹的搜索算法。仿真表明，所提出的搜索方法显著优于现有的调优方法，如Tree Parzen Estimators (TPE)。该方法应用于三种不同的现有应用：a) OFDM系统中的信道估计，b) 汇率预测，以及 c) OFDM接收机中的偏移估计，并且在使用相同或更少计算量的情况下，被证明能选出比现有方法更好的学习率。
引用
@article{arxiv.2003.09844,
title = {Tune smarter not harder: A principled approach to tuning learning rates for shallow nets},
author = {Thulasi Tholeti and Sheetal Kalyani},
journal= {arXiv preprint arXiv:2003.09844},
year = {2020}
}