死亡的 ReLU 与初始化：理论与数值算例
机器学习
2020-12-30 v3 机器学习
概率论
摘要
死亡的 ReLU 指的是 ReLU 神经元失活且对任何输入仅输出 0 的问题。关于 ReLU 神经元为何死亡已有许多经验性与启发性解释。然而，其理论分析鲜为人知。在本文中，我们严格证明深层 ReLU 网络随着深度趋于无穷将依概率最终死亡。已有若干方法被提出以缓解死亡的 ReLU。或许最简单的处置之一是修改初始化过程。一种常见的权重与偏置初始化使用对称概率分布，其受死亡的 ReLU 所困。因此我们提出一种新的初始化过程，即随机非对称初始化。我们证明该新初始化能有效防止死亡的 ReLU。新初始化所需的所有参数均为理论设计。文中给出数值算例以展示新初始化过程的有效性。
引用
@article{arxiv.1903.06733,
title = {Dying ReLU and Initialization: Theory and Numerical Examples},
author = {Lu Lu and Yeonjong Shin and Yanhui Su and George Em Karniadakis},
journal= {arXiv preprint arXiv:1903.06733},
year = {2020}
}