基于距离度量并使用 RMSProp 的深度神经网络训练

梯度消失问题曾是深度学习成功的主要障碍。近年来，通过多种不同技术逐渐缓解了这一问题。然而，该问题并未在根本上得到克服，因为它内在于基于点积激活函数的神经网络。在一系列论文中，我们将分析不基于点积的替代神经网络结构。在第一篇论文中，我们回顾了由基于距离度量和高斯激活函数的层构成的神经网络。这类网络在过去使用较少，因为在使用普通随机梯度下降方法时难以训练。我们表明，通过使用均方根传播（RMSProp），可以有效地学习多层神经网络。此外，我们表明，当适当初始化时，这类神经网络即使在深度网络中也比传统神经网络受梯度消失和爆炸问题的影响小得多。