通过超球面均匀性差距泛化与解耦神经崩溃

神经崩溃（NC）现象描述了深度神经网络的一种底层几何对称性，其中深度学习的特征与分类器均收敛到单纯形等角紧框架。已有研究表明，交叉熵损失与均方误差均可证明地导致 NC。我们去除 NC 关于特征维度与类别数的关键假设，进而提出一个泛化神经崩溃（GNC）假设，其有效包含了原始 NC。受 NC 刻画神经网络训练目标方式的启发，我们将 GNC 解耦为两个目标：最小类内变异性与最大类间可分性。我们随后使用超球面均匀性（刻画单位超球面上均匀程度）作为统一框架来量化这两个目标。最后，我们提出一个通用目标——超球面均匀性差距（HUG），其由类间与类内超球面均匀性之差定义。HUG 不仅可证明收敛到 GNC，还将 GNC 解耦为两个独立目标。与将类内紧致性与类间可分性耦合的交叉熵损失不同，HUG 具有更高灵活性，并作为良好的替代损失函数。实证结果表明，HUG 在泛化性与鲁棒性方面表现良好。