消失节点：另一增加深度神经网络训练难度的现象
机器学习
2019-10-23 v1 神经与进化计算
机器学习
摘要
众所周知，梯度消失/爆炸问题是在训练深度网络时面临的挑战。在本文中，我们描述了另一种同样增加深度神经网络训练难度的现象，称为消失节点。随着神经网络深度的增加，其隐藏节点表现出更高程度的相关性，导致这些节点之间高度相似。因此，隐藏节点的冗余性随网络加深而增加。我们称此问题为消失节点，并提出度量指标消失节点指标（VNI）来定量衡量消失节点的程度。VNI可由网络参数刻画，经解析证明其与网络深度成正比、与网络宽度成反比。理论结果表明，当VNI增至其最大值1时，有效节点数消失为1，且梯度消失/爆炸与消失节点是增加深度神经网络训练难度的两类不同挑战。实验的数值结果表明，在反向传播训练过程中消失节点的程度会更加明显，且当VNI等于1时，即便梯度既未消失也未爆炸，网络也无法学习简单任务（如XOR问题）。我们将此类梯度称为行尸走肉梯度，其在规模相对足够大时无法帮助网络收敛。最后，实验表明训练失败的可能性随网络深度增加而上升，由于网络表征能力的缺失，训练将变得困难得多。
引用
@article{arxiv.1910.09745,
title = {Vanishing Nodes: Another Phenomenon That Makes Training Deep Neural Networks Difficult},
author = {Wen-Yu Chang and Tsung-Nan Lin},
journal= {arXiv preprint arXiv:1910.09745},
year = {2019}
}
备注
16 pages, 9 figures and 2 tables