signADAM:深度神经网络置信度学习
计算机视觉与模式识别
2019-07-23 v1 机器学习
最优化与控制
机器学习
摘要
本文中,我们提出一种新的基于一阶梯度的算法来训练深度神经网络。我们首先将随机梯度的符号操作(如基于符号的方法 SIGN-SGD 中那样)引入 ADAM,称为 signADAM。此外,为使各特征的拟合速率更接近,我们定义置信度函数以区分梯度的不同分量,并将其应用于我们的算法。它可比现有算法生成更稀疏的梯度。我们将这一新算法称为 signADAM++。特别地,我们的两种算法均易于实现,并能加速各类深度神经网络的训练。signADAM++ 的动机是优先从最具差异的样本中学习特征,通过更新大而有用的梯度,忽略随机梯度中的无用信息。我们还建立了算法的理论收敛保证。在各数据集与模型上的实证结果表明,我们的算法比包括 SIGN-SGD、SIGNUM 和 ADAM 在内的许多 SOTA 算法表现更优。我们还从损失景观等多个视角分析性能,并开发一种自适应方法以进一步改善泛化。源代码见 https://github.com/DongWanginxdu/signADAM-Learn-by-Confidence。
引用
@article{arxiv.1907.09008,
title = {signADAM: Learning Confidences for Deep Neural Networks},
author = {Dong Wang and Yicheng Liu and Wenwo Tang and Fanhua Shang and Hongying Liu and Qigong Sun and Licheng Jiao},
journal= {arXiv preprint arXiv:1907.09008},
year = {2019}
}
备注
11 pages, 7 figures