神经网络与一般非线性锥逼近方案下平方损失训练问题的稳定性性质与优化地形

我们研究了神经网络和一般非线性锥逼近方案下平方损失训练问题的优化地形与稳定性性质。我们证明，若考虑一种（在适当定义意义下）比经典线性逼近方法更具表达能力的非线性锥逼近方案，且存在不可实现的标签向量，则平方损失训练问题必然是不稳定的，即其解集对训练数据中标签向量的依赖是不连续的。我们进一步证明，导致这些不稳定性性质的相同效应也是鞍点与伪局部极小出现的原因，这些鞍点与伪局部极小可能距离全局解任意远，并且一般而言，无论是否满足可实现性假设，向目标函数添加惩罚逼近方案中参数规模的正则化项都不能克服训练问题的不稳定性，也不能消除伪局部极小。我们证明，我们的分析尤其适用于自由节点插值方案以及具有可变宽度、包含任意混合各种激活函数（例如 binary、sigmoid、tanh、arctan、soft-sign、ISRU、soft-clip、SQNL、ReLU、leaky ReLU、soft-plus、bent identity、SILU、ISRLU 和 ELU）的深度与浅层神经网络的训练问题。总之，本文的发现表明，神经网络和一般非线性锥逼近工具改进的逼近性质，与为训练它们而必须求解的优化问题的不良性质之间，存在直接且可量化的联系。