AdaNorm：基于自适应梯度范数校正的CNN优化器
计算机视觉与模式识别
2022-10-14 v1
摘要
随机梯度下降（SGD）优化器通常用于训练卷积神经网络（CNNs）。近年来，出现了若干基于自适应动量的SGD优化器，如Adam、diffGrad、Radam与AdaBelief。然而，现有SGD优化器未利用过去迭代的梯度范数，导致收敛性与性能不佳。本文中，我们提出一种新颖的基于AdaNorm的SGD优化器，其根据梯度范数的自适应训练历史对每次迭代的梯度范数进行校正。如此，所提优化器能够在整个训练过程中保持高且具有代表性的梯度，并解决低梯度与异常梯度问题。所提概念具有通用性，可与任何现有SGD优化器结合使用。我们通过四种最先进优化器（包括Adam、diffGrad、Radam与AdaBelief）展示了所提AdaNorm的效果。我们使用三种CNN模型（包括VGG16、ResNet18与ResNet50）在三个基准目标识别数据集（包括CIFAR10、CIFAR100与TinyImageNet）上描绘了所提优化器带来的性能提升。代码：https://github.com/shivram1987/AdaNorm。
引用
@article{arxiv.2210.06364,
title = {AdaNorm: Adaptive Gradient Norm Correction based Optimizer for CNNs},
author = {Shiv Ram Dubey and Satish Kumar Singh and Bidyut Baran Chaudhuri},
journal= {arXiv preprint arXiv:2210.06364},
year = {2022}
}
备注
IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2023