分组学习字词：融合代数、张量秩与 grokking
机器学习
2025-09-09 v1
摘要
在本工作中，我们证明，只要具有足够的宽度，一个具有标准激活函数的简单两层神经网络即可学习任意有限群上的任意字词运算，并在学习过程中表现出 grokking 现象。为了解释实现这一目标的机制，我们将该问题重新表述为学习一个特定的 -张量，并证明其通常具有低秩。一个关键洞察是，通过沿群的基本自共轭表示三元组对该张量进行分解，并利用融合结构排除许多分量，可以获得该张量的低秩实现。我们聚焦于一个在现象上相似但更易处理的替代模型，证明网络能够找到此类低秩实现（或其近似），从而利用有限的宽度以可泛化的方式近似该字词张量。在简单乘法字词的情况下，我们进一步阐明了这些低秩实现的形式，表明网络在 Strassen 意义上有效地实现了高效的矩阵乘法。我们的工作还揭示了网络在梯度下降下达到此类解的机制。
引用
@article{arxiv.2509.06931,
title = {Learning words in groups: fusion algebras, tensor ranks and grokking},
author = {Maor Shutman and Oren Louidor and Ran Tessler},
journal= {arXiv preprint arXiv:2509.06931},
year = {2025}
}