从频率视角解释神经网络训练中的顿悟现象
机器学习
2024-05-29 v1 神经与进化计算
机器学习
摘要
顿悟是指神经网络最初拟合训练数据，随后在训练过程中泛化到测试数据的现象。本文从经验上提供一种频率视角来解释神经网络中该现象的出现。核心见解是，网络最初学习的是测试数据中较不显著的频率成分。我们在合成数据集和真实数据集上均观察到这一现象，通过训练过程中频率动态的视角刻画该现象，为阐释顿悟现象提供了新观点。我们基于频率的经验分析为理解顿悟现象及其潜在机制提供了新视角。
引用
@article{arxiv.2405.17479,
title = {A rationale from frequency perspective for grokking in training neural network},
author = {Zhangchen Zhou and Yaoyu Zhang and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2405.17479},
year = {2024}
}