神经坍缩现象研究：Grassmannian 标架、对称性与泛化

在本文中，我们通过证明广义神经坍缩假设，推广了原始的神经坍缩现象。我们从分类的优化与泛化中得到了 Grassmannian 标架结构。该结构在球面上最大化地分离了任意两类特征，且不需要特征维数大于类别数。出于对 Grassmannian 标架对称性的好奇，我们进行了实验以探究具有不同 Grassmannian 标架的模型是否具有不同的性能。结果，我们发现了对称泛化现象。我们提供了一个定理来解释置换的对称泛化。然而，为何特征的不同方向会导致如此不同的泛化，仍是一个有待未来研究的问题。