AdaFamily:一类类Adam的自适应梯度方法
机器学习
2022-03-04 v1 最优化与控制
摘要
我们提出AdaFamily,一种用于训练深度神经网络的新方法。它是一类自适应梯度方法,可解释为Adam、AdaBelief与AdaMomentum等优化算法的某种融合。我们在图像分类标准数据集上开展实验,表明所提方法优于这些算法。
引用
@article{arxiv.2203.01603,
title = {AdaFamily: A family of Adam-like adaptive gradient methods},
author = {Hannes Fassold},
journal= {arXiv preprint arXiv:2203.01603},
year = {2022}
}
备注
submitted for ISPR 2022 conference