ReLU单元为何有时会死亡：神经网络中单单元误差反向传播分析
机器学习
2018-12-17 v1 信号处理
机器学习
摘要
近来，机器学习中的神经网络在早期处理层使用修正线性单元（ReLU）以获得更好的性能。训练这些结构有时会导致具有近零输出的“死亡ReLU单元”。我们首先使用CIFAR-10数据集和两种流行卷积神经网络架构的变体通过仿真探究这一现象。我们的探索表明，对于未采用跳跃连接的层，在系统收敛时输出激活概率Pr[y>0]通常小于0.5，并且该激活概率倾向于随着从输入层到输出层的推进而降低。采用由误差反向传播变体训练的单个ReLU单元的简化模型，我们随后进行统计收敛分析以探究该模型的演化行为。我们的分析描述了死亡ReLU单元潜在较慢的收敛速度，并且无论权重如何初始化，该问题都可能发生。
引用
@article{arxiv.1812.05981,
title = {Why ReLU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks},
author = {Scott C. Douglas and Jiutian Yu},
journal= {arXiv preprint arXiv:1812.05981},
year = {2018}
}
备注
5 pages, 7 figures, Proc. 52nd Asilomar Conference on Signals, Systems, and Computers, Pacific Grove, CA, October 2018