双层网络中的顿悟学习作为一级相变
机器学习
2024-05-07 v3 无序系统与神经网络
机器学习
摘要
深度神经网络(DNNs)的一个关键特性是其在训练期间学习新特征的能力。深度学习中这一引人入胜的方面在最近报道的顿悟学习(Grokking)现象中最为清晰地显现。虽然主要反映为测试准确率的突然提升，但Grokking也被认为是一种超越懒惰学习/高斯过程(GP)现象、涉及特征学习的现象。在此，我们应用特征学习理论的最新进展——自适应核方法，研究具有三次多项式和模加法教师的两个师生模型。我们提供了关于这些模型的特征学习与Grokking性质的解析预测，并展示了Grokking与相变理论之间的映射。我们表明，在Grokking之后，DNN的状态类似于一级相变后的混合相。在此混合相中，DNN生成与相变前截然不同且有用的教师内部表示。
引用
@article{arxiv.2310.03789,
title = {Grokking as a First Order Phase Transition in Two Layer Networks},
author = {Noa Rubin and Inbar Seroussi and Zohar Ringel},
journal= {arXiv preprint arXiv:2310.03789},
year = {2024}
}