双向自归一化神经网络
机器学习
2021-12-06 v5 神经与进化计算
机器学习
摘要
梯度消失与梯度爆炸问题一直是阻碍神经网络有效训练的长期难题。尽管实践中已采用各种技巧与技术来缓解该问题，但仍缺乏令人满意的理论或可证明的解决方案。在本文中，我们从高维概率论的视角解决该问题。我们提供了一个严格的结果，表明在温和条件下，如果神经网络具有足够的宽度，梯度消失/爆炸问题以高概率消失。我们的主要思想是通过一类新的激活函数（即 Gaussian-Poincaré 归一化函数）与正交权重矩阵，在非线性神经网络中同时约束前向与反向信号传播。在合成数据与真实数据上的实验验证了我们的理论，并证实了其在实际应用于极深神经网络时的有效性。
引用
@article{arxiv.2006.12169,
title = {Bidirectionally Self-Normalizing Neural Networks},
author = {Yao Lu and Stephen Gould and Thalaiyasingam Ajanthan},
journal= {arXiv preprint arXiv:2006.12169},
year = {2021}
}