ResNet 训练中的渐进式前向坍缩

神经坍缩（Neural Collapse, NC）是深度神经网络（DNNs）在训练终端阶段的一种简单且对称的现象，此时最后一层特征坍缩至其类均值，并形成与分类器向量对齐的单纯形等角紧框架。然而，在训练过程中，最后一层特征与数据及中间层之间的关系仍未被探索。为此，我们刻画了 ResNet 中间层的几何结构，并提出了一种新的猜想——渐进式前向坍缩（Progressive Feedforward Collapse, PFC），声称在 DNNs 的前向传播过程中，坍缩程度会不断增加。根据带有权重衰减的 ResNet 在终端阶段近似于 Wasserstein 空间中测地曲线的特性，我们为训练良好的 ResNet 推导了一个透明的模型。在不同数据集上，PFC 的各项指标确实随深度单调递减。我们提出了一种新的代理模型——多层无约束特征模型（Multilayer Unconstrained Feature Model, MUFM），通过最优传输正则化项连接各中间层。MUFM 的最优解与 NC 不一致，但相对于输入数据更为集中。总体而言，本研究将 NC 扩展为 PFC，以对中间层的坍缩现象及其对输入数据的依赖性进行建模，为分类问题中 ResNet 的理论理解提供了启示。