Deep Control——一种用于深度卷积神经网络内存高效且高性能训练的简单自动增益控制
计算机视觉与模式识别
2017-06-14 v1
摘要
训练深度卷积神经网络通常从所有层所有滤波器的随机初始化开始，这会严重削弱前向信号和反向传播误差，导致训练缓慢且次优。抵消这一问题的技术侧重于自适应地增大信号或增大梯度，但模型在训练初期的行为与后期（此时网络中已建立稳定通路）大相径庭。使问题更加复杂的是，有效小批量大小在不同深度的层之间以及各个滤波器之间差异巨大，因为激活稀疏性通常随深度增加而增加，导致有效学习率降低（因为梯度可能叠加而非相加），这进一步加剧了协变量偏移问题，因为较深的神经元更难适应上游偏移。本文提出了一种内置于每个卷积神经元的信号自动增益控制方法，其性能达到或优于批归一化，并且兼容单样本或小批量梯度下降。训练和推理使用相同的模型。该技术包括从原始卷积滤波器输出中减去缩放后的逐样本均值，然后对差值进行缩放。
引用
@article{arxiv.1706.03907,
title = {Deep Control - a simple automatic gain control for memory efficient and high performance training of deep convolutional neural networks},
author = {Brendan Ruff},
journal= {arXiv preprint arXiv:1706.03907},
year = {2017}
}
备注
Submitted to BMVC 2017 on 2nd May 2017