通过神经坍缩解释 Grokking 与信息瓶颈
机器学习
2026-01-28 v2
摘要
深度神经网络的训练动力学常常令人惊讶，尽管这些模型构成现代机器学习的基础。两个突出例子是 grokking，即测试性能在训练损失停滞后显著提升；以及信息瓶颈原理，即模型在训练过程中逐步丢弃与预测任务无关的输入信息。然而，这些现象及其关系的机制仍鲜有了解。本文通过神经坍缩的视角，提出解释这些晚期现象的统一框架，这种框架刻画了学习表示的几何结构。我们表明，种群类内方差收缩是 grokking 和信息瓶颈的关键因素，并将此度量关联到定义在训练集上的神经坍缩度量。通过分析神经坍缩的动力学，我们表明，拟合训练集的时间尺度与神经坍缩进程的时间尺度之间的差异，解释了晚期现象的行为。最后，我们在多个数据集和体系结构上验证了理论发现。
引用
@article{arxiv.2509.20829,
title = {Explaining Grokking and Information Bottleneck through Neural Collapse Emergence},
author = {Keitaro Sakamoto and Issei Sato},
journal= {arXiv preprint arXiv:2509.20829},
year = {2026}
}
备注
Accepted at ICLR 2026. Code is available at https://github.com/keitaroskmt/collapse-dynamics