基于矩中心化的卷积神经网络梯度下降优化器
计算机视觉与模式识别
2022-07-20 v1
摘要
卷积神经网络(CNNs)在许多计算机视觉应用中展现出极具吸引力的性能。CNN的训练通常使用基于随机梯度下降(SGD)的优化技术。基于自适应动量的SGD优化器是近期趋势。然而,现有优化器无法在一阶矩中保持零均值,且优化困难。本文中,我们提出一种基于矩中心化的SGD优化器用于CNN。具体而言,我们显式地对一阶矩施加零均值约束。所提矩中心化具有通用性,可与任何现有基于自适应动量的优化器集成。该思路在基准CIFAR10、CIFAR100和TinyImageNet图像分类数据集上,与包括Adam、Radam和Adabelief在内的三种最先进优化技术进行了测试。现有优化器在集成所提矩中心化后性能普遍提升。此外,所提矩中心化的结果也优于现有的梯度中心化。使用玩具示例的解析分析表明,所提方法带来了更短且更平滑的优化轨迹。源代码已公开于\url{https://github.com/sumanthsadhu/MC-optimizer}。
引用
@article{arxiv.2207.09066,
title = {Moment Centralization based Gradient Descent Optimizers for Convolutional Neural Networks},
author = {Sumanth Sadu and Shiv Ram Dubey and SR Sreeja},
journal= {arXiv preprint arXiv:2207.09066},
year = {2022}
}
备注
Accepted in International Conference on Computer Vision and Machine Intelligence (CVMI), 2022