Grokking 对非平稳学习环境的启示
机器学习
2025-07-29 v1
摘要
在持续学习问题中，必须对神经网络已学习表征的某些组成部分进行覆盖，以应对数据流的变化；然而，神经网络常表现出 \primacy bias，即早期训练数据会阻碍网络在后续任务上的泛化。尽管非平稳学习问题的特征学习动力学尚未得到充分研究，但特征学习动力学的出现已知可驱动 grokking 现象，即神经网络最初记忆训练数据，随后才表现出完美泛化。本文推测，促进 grokking 中泛化的同一特征学习动力学也支撑了覆盖先前学习特征的能力，而通过促进特征学习动力学来加速 grokking的方法，值得作为解决非平稳学习中 primacy bias 的候选方案。我们随后提出一种简单方法，通过增加有效学习率（即参数范数与更新范数之比）在训练过程中诱导所需的特征学习动力学。我们展示，该方法既促进了特征学习，又在多种设置下提升了泛化，包括 grokking、warm-starting 神经网络训练以及强化学习任务。
引用
@article{arxiv.2507.20057,
title = {What Can Grokking Teach Us About Learning Under Nonstationarity?},
author = {Clare Lyle and Gharda Sokar and Razvan Pascanu and Andras Gyorgy},
journal= {arXiv preprint arXiv:2507.20057},
year = {2025}
}