卷积神经网络中的通道归一化避免梯度消失
机器学习
2019-07-24 v1 机器学习
摘要
归一化层被广泛用于深度神经网络中以稳定训练。在本文中，我们考虑在单个训练样本上用梯度下降训练卷积神经网络。这一优化问题出现在近期用于求解逆问题（如深度图像先验或深度解码器）的方法中。我们表明，对于此设置，通道归一化（对每个通道单独中心化并归一化）可避免梯度消失，而无归一化时梯度消失会阻碍高效优化。该效应在深度单通道线性卷积网络中持续存在，并且我们证明若无通道归一化，梯度下降至少需要指数级多步才能接近最优解。相反，有通道归一化时梯度保持有界，从而避免梯度爆炸。
引用
@article{arxiv.1907.09539,
title = {Channel Normalization in Convolutional Neural Network avoids Vanishing Gradients},
author = {Zhenwei Dai and Reinhard Heckel},
journal= {arXiv preprint arXiv:1907.09539},
year = {2019}
}
备注
13 pages, 5 figures