基于双曲正切衰减的随机梯度下降在分类任务中的应用
计算机视觉与模式识别
2018-11-14 v2
摘要
学习率调度器一直是深度神经网络训练中的关键问题。已有若干调度器与方法被提出，包括阶梯衰减调度器、自适应方法、余弦调度器与循环调度器。本文提出一种名为双曲正切衰减（HTD）的新调度方法。我们在多个基准上进行了实验，如：针对 CIFAR-10 与 CIFAR-100 数据集的 ResNet、Wide ResNet 和 DenseNet，针对 PAMAP2 数据集的 LSTM，以及针对 ImageNet 和 Fashion-MNIST 数据集的 ResNet。在我们的实验中，HTD 在几乎所有情况下均优于阶梯衰减与余弦调度器，同时比阶梯衰减需要更少的超参数，且比余弦调度器更灵活。代码见 https://github.com/BIGBALLON/HTD。
引用
@article{arxiv.1806.01593,
title = {Stochastic Gradient Descent with Hyperbolic-Tangent Decay on Classification},
author = {Bo Yang Hsueh and Wei Li and I-Chen Wu},
journal= {arXiv preprint arXiv:1806.01593},
year = {2018}
}
备注
WACV2019