两个回路的故事：Grokking 作为稀疏与稠密子网络的竞争
机器学习
2023-03-22 v1
摘要
Grokking 是一种现象：在算法任务上训练的模型先过拟合，然后在大量额外训练后经历相变从而完美泛化。我们实证研究了在稀疏奇偶任务上经历 grokking 的网络内部结构，发现 grokking 相变对应于主导模型预测的稀疏子网络的出现。在优化层面，我们发现该子网络出现于一小部分神经元经历快速的范数增长，而网络中其他神经元范数缓慢衰减之时。因此，我们认为 grokking 相变可理解为两个大体不同的子网络竞争所致：相变前主导且泛化差的稠密子网络，与相变后主导的稀疏子网络。
引用
@article{arxiv.2303.11873,
title = {A Tale of Two Circuits: Grokking as Competition of Sparse and Dense Subnetworks},
author = {William Merrill and Nikolaos Tsilivis and Aman Shukla},
journal= {arXiv preprint arXiv:2303.11873},
year = {2023}
}
备注
Published at the Workshop on Understanding Foundation Models at ICLR 2023