平坦性是必要的，神经崩塌不是：通过溶解重思考泛化

神经崩塌，即高度对称的、类间聚类表示的出现，频繁出现在深度网络中，常被假设为反映或促进泛化的因素。然而，损失景观的平坦性已在理论和实证中与泛化相关联。然而，这两种现象的因果作用仍不明确：它们是泛化的前提条件，还是训练动力学的副产品？我们利用溶解（grokking）这一训练范式来分离这些问题，即在记忆 precedes 概括（记忆先于泛化）的情况下，使我们能够在时间上将泛化与训练动力学分离。我们发现，尽管神经崩塌和相对平坦性都在泛化开始时出现，但只有平坦性始终能预测泛化。鼓励模型崩塌或防止模型崩塌的模型在一般化方面表现相同，而那些被正则化以远离平坦解的模型则表现出延迟的泛化，类似于溶解现象，即使在通常不会发生溶解的架构和数据集上亦如此。进一步，我们在经典假设下证明神经崩塌导致相对平坦性，从而解释了它们的经验共现。我们的结果支持相对平坦性是潜在必要且更基本的属性的观点，并展示溶解如何作为一种强大的探针，用于隔离其几何底层。