AdaInject：面向卷积神经网络的基于注入的自适应梯度下降优化器
机器学习
2022-09-20 v2 最优化与控制
摘要
卷积神经网络（CNN）通常使用基于随机梯度下降（SGD）的优化技术进行训练。现有的 SGD 优化器通常会遇到越过极小值和在极小值附近振荡的问题。在本文中，我们提出了一种新方法，以下简称 AdaInject，通过将二阶矩注入一阶矩来改进梯度下降优化器。具体而言，将参数的短期变化作为权重，将二阶矩注入到更新规则中。AdaInject 优化器控制参数更新，避免越过极小值并减少在极小值附近的振荡。所提出的方法具有通用性，可与任何现有的 SGD 优化器集成。我们通过直观解释以及一些简单示例说明了 AdaInject 优化器的有效性。我们还证明了所提出的基于注入的优化器的收敛性质。此外，我们结合最先进的优化器，即 AdamInject、diffGradInject、RadamInject 和 AdaBeliefInject，在四个基准数据集上进行了大量实验，展示了 AdaInject 方法的有效性。实验中使用了不同的 CNN 模型。在 CIFAR10 数据集上使用 ResNeXt29 模型时，diffGradInject 优化器在 top-1 分类错误率上实现了 的最高提升。总体而言，我们观察到所提出的 AdaInject 方法对现有优化器的性能有非常显著的提升。代码位于：\url{https://github.com/shivram1987/AdaInject}。
引用
@article{arxiv.2109.12504,
title = {AdaInject: Injection Based Adaptive Gradient Descent Optimizers for Convolutional Neural Networks},
author = {Shiv Ram Dubey and S. H. Shabbeer Basha and Satish Kumar Singh and Bidyut Baran Chaudhuri},
journal= {arXiv preprint arXiv:2109.12504},
year = {2022}
}
备注
Accepted By IEEE Transactions on Artificial Intelligence