基于共轭梯度的 Adam 随机优化算法及其在深度学习中的应用
最优化与控制
2020-03-04 v2 机器学习
摘要
本文提出一种基于共轭梯度的 Adam 算法，将 Adam 与非线性共轭梯度方法相融合，并给出其收敛性分析。在文本分类与图像分类上的数值实验表明，所提算法能以比现有自适应随机优化算法更少的训练轮数训练深度神经网络模型。
引用
@article{arxiv.2003.00231,
title = {Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning},
author = {Yu Kobayashi and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2003.00231},
year = {2020}
}