随机梯度下降中学习率与动量的自动同步调节
机器学习
2019-08-22 v1 机器学习
统计计算
摘要
随机梯度下降（SGD）方法在训练机器学习和深度学习模型中十分突出。这些技术的性能取决于其随时间变化的超参数调节，并因不同模型和问题而异。手动调节超参数非常昂贵且耗时，即便正确完成，也缺乏理论依据，不可避免地导致“经验法则”式设置。本文中，我们提出一种通用方法，利用无偏梯度估计量的统计量来自动且同时调节两个关键超参数：学习率与动量。我们将所提出的通用技术部署于多种 SGD 方法以训练卷积神经网络（CNN）。结果匹配通过穷举搜索获得的最佳设置性能，从而免除了繁琐的手动调参需求。
引用
@article{arxiv.1908.07607,
title = {Automatic and Simultaneous Adjustment of Learning Rate and Momentum for Stochastic Gradient Descent},
author = {Tomer Lancewicki and Selcuk Kopru},
journal= {arXiv preprint arXiv:1908.07607},
year = {2019}
}