理解还是不理解：在受损算法数据集上解耦泛化与记忆

鲁棒泛化是深度学习中的一大挑战，尤其在可训练参数数量极大时。一般而言，很难判断网络是记住了特定的一组样本，还是理解了底层规则（或兼而有之）。受此挑战驱动，我们研究了一个可解释模型，其中泛化表示可被解析理解，且易于与记忆表示区分。具体而言，我们考虑在模算术任务上训练的多层感知机（MLP）与Transformer架构，其中(ξ·100%)的标签被损坏（即训练集中部分模运算结果错误）。我们表明：(i) 网络有可能同时记住损坏标签并达到100%泛化；(ii) 记忆神经元可被识别并剪枝，从而降低在损坏数据上的准确率并提升在未损坏数据上的准确率；(iii) 权重衰减、dropout和BatchNorm等正则化方法迫使网络在优化时忽略损坏数据，并在未损坏数据集上达到100%准确率；以及(iv) 这些正则化方法的效果是（"机制上"）可解释的：权重衰减和dropout迫使所有神经元学习泛化表示，而BatchNorm减弱记忆神经元的输出并放大泛化神经元的输出。最后，我们展示在存在正则化时，训练动态涉及两个连续阶段：首先，网络经历grokking动态，达到高训练与测试准确率；其次，它遗忘记忆表示，训练准确率突然从100%跳至100(1-ξ)%。