探索 Grokking：实验与机制性探究
机器学习
2024-12-17 v1 机器学习
摘要
在过参数化神经网络中，grokking 现象引起了广泛关注。它涉及神经网络最初在训练集上实现零训练误差，同时测试误差接近随机，然后通过持续训练导致从无泛化到完美泛化的尖锐转变。我们的研究包括大量实验和对 grokking 机制背后研究的探索。通过实验，我们深入了解了其关于训练数据比例、模型和优化的行为。grokking 的机制是众多研究者提出的各种观点主题，我们介绍了其中的一些观点。
引用
@article{arxiv.2412.10898,
title = {Exploring Grokking: Experimental and Mechanistic Investigations},
author = {Hu Qiye and Zhou Hao and Yu RuoXi},
journal= {arXiv preprint arXiv:2412.10898},
year = {2024}
}