AngularGrad：一种用于卷积神经网络角度收敛的新优化技术
机器学习
2023-09-12 v2 神经与进化计算
机器学习
摘要
卷积神经网络（CNN）使用基于随机梯度下降（SGD）的优化器进行训练。近来，自适应矩估计（Adam）优化器因其自适应动量而变得非常流行，该动量解决了 SGD 的梯度消失问题。然而，现有优化器仍无法有效利用优化曲率信息。本文提出一种新的 AngularGrad 优化器，其考虑了连续梯度方向/角度的行为。这是文献中首次尝试利用梯度角度信息而非仅其幅值。所提出的 AngularGrad 基于先前迭代的梯度角度信息生成分数以控制步长。因此，随着通过角度信息捕获更精确的近期梯度步长，优化步骤变得更加平滑。基于使用正切或余弦函数计算梯度角度信息，开发了 AngularGrad 的两种变体。理论上，AngularGrad 在收敛目的上表现出与 Adam 相同的遗憾界。然而，在基准数据集上与最先进方法进行的广泛实验揭示了 AngularGrad 的优越性能。源代码将在 https://github.com/mhaut/AngularGrad 公开提供。
引用
@article{arxiv.2105.10190,
title = {AngularGrad: A New Optimization Technique for Angular Convergence of Convolutional Neural Networks},
author = {S. K. Roy and M. E. Paoletti and J. M. Haut and S. R. Dubey and P. Kar and A. Plaza and B. B. Chaudhuri},
journal= {arXiv preprint arXiv:2105.10190},
year = {2023}
}