ReLU 网络的可训练性与数据相关初始化
机器学习
2020-10-23 v2 机器学习
摘要
在本文中，我们研究修正线性单元（ReLU）网络的可训练性。若一个 ReLU 神经元对任意输入仅输出常数，则称其为死亡神经元。我们引入两种神经元死亡状态：暂定死亡与永久死亡。若永久死亡神经元的数量对于某项学习任务足够小，则称该网络是可训练的。我们将网络可训练的概率称为可训练性。我们证明，网络可训练是成功训练的必要条件，且可训练性是成功训练率的上界。为量化可训练性，我们研究初始化时活跃神经元数量的分布。在许多应用中，过指定或过度参数化的神经网络被成功采用，并显示出有效的训练效果。借助可训练性概念，我们证明过度参数化既是最小化训练损失的必要条件也是充分条件。此外，我们在过度参数化设定下提出一种数据相关初始化方法。数值实验用于展示该方法的有效性及我们的理论发现。
引用
@article{arxiv.1907.09696,
title = {Trainability of ReLU networks and Data-dependent Initialization},
author = {Yeonjong Shin and George Em Karniadakis},
journal= {arXiv preprint arXiv:1907.09696},
year = {2020}
}