连接彩票票假设与Grokking：从网络内部结构理解Grokking
机器学习
2025-05-12 v3
摘要
Grokking是一种引人注目的延迟泛化现象，神经网络最初以完美准确率记忆训练数据但泛化能力差，随后在持续训练中转而获得具有泛化能力的解。尽管已有如权重范数与稀疏性等因子被提出用以解释这种延迟泛化，网络结构的影响仍未被充分探索。本工作中，我们将grokking现象与彩票票假设（lottery ticket hypothesis）相联系，以研究内部网络结构的影响。我们证明，利用在泛化阶段获得的彩票票（称为grokked tickets）可显著减少多种任务中的延迟泛化，这些任务包括多种模运算、多项式回归、稀疏奇偶校验以及MNIST分类。通过控制实验，我们表明延迟泛化的缓解并非仅源于降低的权重范数或增加的稀疏性，而是源于发现了优良子网络。此外，我们发现grokked tickets表现出周期性权重模式、有益图属性（如增加的平均路径长度与降低的聚类系数），并经历与泛化提升相吻合的快速结构变化。另外，如edge-popup算法等剪枝技术可在不修改权重的情况下识别这些有效结构，从而将记忆型网络转化为泛化型网络。这些结果强调了结构探索在理解grokking中起关键作用这一新颖见解。实现代码可通过此链接访问：https://github.com/gouki510/Grokking-Tickets。
引用
@article{arxiv.2310.19470,
title = {Bridging Lottery Ticket and Grokking: Understanding Grokking from Inner Structure of Networks},
author = {Gouki Minegishi and Yusuke Iwasawa and Yutaka Matsuo},
journal= {arXiv preprint arXiv:2310.19470},
year = {2025}
}
备注
Published at Transactions on Machine Learning Research (TMLR)