广义数据下的浅层神经网络神经塌陷

神经塌陷（NC）是深度神经网络（DNN）训练终端阶段出现的现象。数据在同一类别中的特征会塌缩到各自的样本均值，而样本均值则呈现单极等距紧密帧（ETF）结构。在过去的数年间，大量工作聚焦于解释NC发生的原因及其对泛化能力的影响。由于DNN难以分析，大多数研究主要关注无约束特征模型（UFM）。虽然UFM对解释NC具有一定意义，但未能完整揭示网络结构和数据集如何影响NC。本文聚焦于浅层ReLU神经网络，探讨宽度、深度、数据维度以及训练数据集的统计特性如何影响神经塌陷。我们对二维及三层神经网络中NC的发生提供了完整描述。对于二维ReLU神经网络，全部分析风险函数的全局最小化器是否呈现NC配置的充分条件取决于数据维度、样本量以及数据中的信噪比，而非网络宽度。对于三层神经网络，我们证明只要第一层足够宽，即可实现NC。关于NC与泛化的关系，我们指出泛化程度严重依赖于数据中的信噪比：即便发生NC，若数据信噪比过低，泛化仍可能很差。我们的结果显著扩展了在UFM下进行NC理论分析的最新成果，通过刻画非线性浅层网络下NC的出现情况，揭示了其如何依赖于数据属性和网络架构。