Demon：基于动量衰减改进神经网络训练
机器学习
2021-07-02 v4 图像与视频处理
最优化与控制
机器学习
摘要
动量是深度学习中基于梯度的优化器广泛使用的一种技术。本文中，我们提出一种衰减动量（Demon）规则。除了最流行的学习率衰减调度外，我们还对现代神经网络优化的动量衰减方法进行了首次大规模实证分析。在 28 种相关的模型、轮次、数据集和优化器组合中，Demon 分别以 39% 和 85% 的比例取得最高数量的 Top-1 和 Top-3 成绩，几乎是第二名学习率余弦调度（分别为 17% 和 60%）的两倍。Demon 还优于其他广泛使用的调度器，包括但不限于学习率阶跃调度、线性调度、OneCycle 调度和指数调度。与广泛使用的学习率阶跃调度相比，观察到 Demon 对参数调优的敏感性较低，而这在实际应用中训练神经网络时至关重要。结果在多种设置和架构下得到展示，包括图像分类、生成模型和语言模型。Demon 易于实现，无需额外调优，且与原始对应方法相比几乎不带来额外计算开销。代码已公开可用。
引用
@article{arxiv.1910.04952,
title = {Demon: Improved Neural Network Training with Momentum Decay},
author = {John Chen and Cameron Wolfe and Zhao Li and Anastasios Kyrillidis},
journal= {arXiv preprint arXiv:1910.04952},
year = {2021}
}
备注
12 pages