非线性神经网络训练的适定性问题与优化几何
最优化与控制
2020-02-10 v1 机器学习
神经与进化计算
摘要
本文分析了非线性激活函数在稠密神经网络训练问题驻点处所起的作用。我们考虑一个通用的最小二乘损失函数训练形式。我们表明，网络构造中使用的非线性激活函数在分类损失景观的驻点方面起着关键作用。我们证明，对于浅层稠密网络，非线性激活函数决定了全局极小值（若存在）附近的 Hessian 零空间，从而决定了训练问题的不适定性。此外，对于浅层非线性网络，我们表明激活函数及其导数的零点会导致伪局部极小值，并讨论了严格鞍点的条件。我们将这些结果推广到深层稠密神经网络，表明由于链式法则中梯度的表现形式，最后一个激活函数在分类驻点方面起着重要作用。
引用
@article{arxiv.2002.02882,
title = {Ill-Posedness and Optimization Geometry for Nonlinear Neural Network Training},
author = {Thomas O'Leary-Roseberry and Omar Ghattas},
journal= {arXiv preprint arXiv:2002.02882},
year = {2020}
}