用于深度神经网络的激活梯度
计算机视觉与模式识别
2021-07-12 v1 人工智能
摘要
深度神经网络常因病态条件问题、梯度消失/爆炸问题以及鞍点问题而性能不佳甚至训练失败。本文提出一种通过对梯度施加梯度激活函数(GAF)来处理这些挑战的新方法。直观上,GAF放大微小梯度并限制大梯度。理论上,本文给出了GAF需要满足的条件,并在此基础上证明了GAF缓解了上述诸问题。此外,本文证明了在某些假设下,带有GAF的SGD的收敛速度快于不带GAF的SGD。进一步,CIFAR、ImageNet和PASCAL visual object classes上的实验证实了GAF的有效性。实验结果还表明,所提方法能够应用于各种深度神经网络以提升其性能。源代码公开于 https://github.com/LongJin-lab/Activated-Gradients-for-Deep-Neural-Networks。
引用
@article{arxiv.2107.04228,
title = {Activated Gradients for Deep Neural Networks},
author = {Mei Liu and Liangming Chen and Xiaohao Du and Long Jin and Mingsheng Shang},
journal= {arXiv preprint arXiv:2107.04228},
year = {2021}
}