突破边界：Mixup 对神经坍缩的影响

Mixup 是一种数据增强策略，它采用训练实例及其各自标签的凸组合来增强深度神经网络的鲁棒性和校准。尽管 Mixup 被广泛采用，但其成功背后的细微机制尚未被完全理解。观测到的神经坍缩现象——即深度网络的最后一层激活值和分类器收敛为单纯形等角紧致标架（ETF）——为探索 Mixup 是否会引发替代的几何构型以及这些构型能否解释其成功提供了强有力的动机。在本研究中，我们深入探讨了受 Mixup 影响的深度网络训练数据的最后一层激活值，旨在揭示其操作有效性的见解。我们的研究跨越多种架构和数据集组合，揭示了 Mixup 的最后一层激活值主要收敛于一种与预期不同的独特构型。在这种构型中，来自相同类别混合样本的激活值与分类器对齐，而来自不同类别的激活值则沿决策边界勾勒出通道。此外，较早层的激活值呈现出模式，就好像是用流形 Mixup 训练的一样。这些发现出乎意料，因为混合特征并非特征类别均值的简单凸组合（例如，用均方误差损失训练 Mixup 时可能会得到这种组合）。通过分析这种独特的几何构型，我们阐明了 Mixup 增强模型校准的机制。为了进一步验证我们的经验观察，我们在无约束特征模型假设下利用 Mixup 损失进行了理论分析。通过此分析，我们在分类器形成单纯形 ETF 的假设下表征并推导了最优的最后一层特征。