关于具线性激活的单隐藏层神经网络梯度流的ISS性质

神经网络与机器学习近期研究表明，使用远多于回归问题初始复杂度严格所需数量的参数，可得到更精确或更快收敛的模型——这与经典统计信念相反。这一有时被称为“良性过拟合”的现象引发了关于过参数化还可能在哪些方面影响学习问题性质的问题。本工作中，我们研究在梯度估计存在不确定性的情况下，过拟合对梯度下降训练鲁棒性的影响。若梯度由含噪数据估计或直接测量，则该不确定性自然产生。我们的研究对象是具有单个任意宽隐藏层及任意数量输入与输出的线性神经网络。本文针对神经网络输入输出为一维的情形解决了该问题，基于无扰动情形收敛的充要条件推导了系统鲁棒性的充分条件。随后我们展示一般的过参数化表述引入了一组位于损失函数最小化集合之外的伪平衡态，并讨论了可能将当前结果推广至更一般表述的未来工作方向。