学习有限维代数中的 Grokking 现象

本文探讨了在学习有限维代数 (FDA) 中的乘法时，神经网络训练过程中观察到的从长期记忆到泛化的突然转换现象。虽然先前的 Grokking 研究主要关注群运算，但本文将分析扩展到更一般的代数结构，包括非结合、非交换和非单位代数。我们表明，学习群运算是学习 FDA 的特例，而学习 FDA 中的乘法等价于学习由代数结构张量指定的双线性乘积。对于实数域上的代数，我们将学习问题联系到带隐式低秩偏置的矩阵分解；对于有限域上的代数，我们指出 Grokking 现象自然出现，因为模型必须学习代数元素的离散表示。这导致我们实验性地调查以下核心问题：(i) 代数属性如交换性、结合性和单位性如何影响 Grokking 的出现及其发生时间，(ii) FDA 结构张量的稀疏性和秩等结构属性如何影响泛化，以及 (iii) 泛化与模型学习代数表示中嵌入对齐程度的关系。我们的工作为代数结构范围内的 Grokking 提供了统一框架，并提供了关于数学结构如何支配神经网络泛化动力学的新见解。