手写归纳现象的拓扑签名

我们通过拓扑学视角研究手写归纳（grokking）现象。对由不同素数构成的模块算术任务训练得到的模型嵌入矩阵所构建的点云进行持久同调分析（persistent homology），我们识别出手写归纳的明确且一致的拓扑特征：第一同调（H_1）的最大持久性和总持久性均出现锐增。持久图显示，一个支配性的长存拓扑特征的出现，以及日益结构化的次要特征的增多，反映了该任务底层循环结构。与现有光谱诊断（specifically, Fourier analysis）和几何诊断（local intrinsic dimension）相比，持久同调提供了一个统一的几何与拓扑特征描述，捕捉局部与全局的多尺度结构。跨数据 regime 与控制设置的消除实验表明，这些拓扑转变与泛化相关而非记忆。我们的结果表明，持久同调提供了一个原则且可解释的框架，用于分析神经网络在训练期间如何内化潜在结构。