用链接神经元解决深度学习中的内部协变量偏移
机器学习
2017-12-08 v1 计算机视觉与模式识别
机器学习
摘要
本文利用链接神经元概念,针对内部协变量偏移与神经元死亡问题提出一种新解。我们依据两项约束定义神经元链接:其一,链接内所有神经元激活须具有相同工作点,即它们共享输入权重;其二,一组神经元被链接当且仅当其中至少存在一个成员相对于激活函数输入具有非零梯度。这意味着对激活函数的任意输入,链接中至少有一个成员工作于非平坦且非零区域。这一简单改动对网络学习动态有深远影响。本文探讨该提议的后果,并表明使用此类单元可隐式解决内部协变量偏移。因此,链接神经元的使用使得无需任何架构或算法技巧即可训练任意大规模网络,有效免除诸如 Batch Normalization 等重归一化方案的需要,从而将所需训练时间减半。它也解决了标准化输入数据需求的问题。结果表明,采用链接的单元不仅有效解决上述问题,而且作为极具前景的先进替代方案颇具竞争力。
引用
@article{arxiv.1712.02609,
title = {Solving internal covariate shift in deep learning with linked neurons},
author = {Carles Roger Riera Molina and Oriol Pujol Vila},
journal= {arXiv preprint arXiv:1712.02609},
year = {2017}
}
备注
Submitted to CVPR 2018. Code available at https://github.com/blauigris/linked_neurons