深层窄神经网络的坍缩
机器学习
2021-11-03 v2 机器学习
摘要
近期的理论工作表明深度神经网络优于浅层网络，但其训练更为困难，例如存在梯度消失问题。该问题通常可通过修正线性单元（ReLU）激活函数解决。然而，此处我们表明，即使采用此类激活函数，深层且窄的神经网络（NNs）也会以高概率收敛到目标函数的错误均值或中位数状态，具体取决于损失函数。深层窄神经网络出现在求解具有高阶导数的偏微分方程中。我们从数值和理论两方面证明了此类神经网络的坍缩现象，并给出了坍缩概率的估计。我们还构建了用于设计避免坍缩到错误状态的神经网络的安全区域图示。最后，我们考察了可能避免坍缩问题的不同初始化与归一化方法。非对称初始化可能降低坍缩概率，但无法完全消除。
引用
@article{arxiv.1808.04947,
title = {Collapse of Deep and Narrow Neural Nets},
author = {Lu Lu and Yanhui Su and George Em Karniadakis},
journal= {arXiv preprint arXiv:1808.04947},
year = {2021}
}