Grokked 模型是更好的遗忘模型
机器学习
2025-12-04 v1
摘要
Grokking——一种在模型拟合训练数据很久之后出现的延迟泛化——已被与鲁棒性和表征质量联系起来。我们问这种训练方式是否也有助于机器遗忘，即在不完全重新训练的情况下移除指定数据的影响。我们比较了在 grokking 转换之前与之后应用标准遗忘方法的效果，涵盖视觉（CNNs/ResNets 在 CIFAR、SVHN 和 ImageNet 上）和语言（TOFU 风格设置上的 transformer）。从 Grokked 检查点开始始终如一地产生了（i）更高效的遗忘（达到目标遗忘水平所需的更新次数更少），（ii）更少的附带损害（保留和测试性能下降更小），以及（iii）跨种子更稳定的更新，相对于在相同遗忘算法下提前停止的对应模型。对特征和曲率的分析进一步表明，grokking 后的模型学习了更具模块化的表征，遗忘子集和保留子集之间的梯度对齐减少，从而促进了选择性遗忘。我们的结果强调了模型何时训练（grokking 前与后）是一个与如何执行遗忘正交的杠杆，提供了一种在不改变算法的情况下改进现有遗忘方法的实用方案。
引用
@article{arxiv.2512.03437,
title = {Grokked Models are Better Unlearners},
author = {Yuanbang Liang and Yang Li},
journal= {arXiv preprint arXiv:2512.03437},
year = {2025}
}