用以理解神经网络中无过拟合现象的线性频率原理模型
机器学习
2021-05-26 v1 数据分析、统计与概率
摘要
为何 heavily parameterized 的神经网络(NNs)不会过拟合数据,是一个重要的长期未解问题。我们提出一个 NN 训练的现象学模型来解释这一非过拟合谜题。我们的线性频率原理(LFP)模型解释了 NN 的一个关键动力学特征:无论微观细节如何,它们先学习低频。基于我们 LFP 模型的理论表明,目标函数的低频主导是 NN 非过拟合的关键条件,并经由实验验证。此外,通过一个理想两层 NN,我们揭示了详细的微观 NN 训练动力学如何统计地产生具有定量预测能力的 LFP 模型。
引用
@article{arxiv.2102.00200,
title = {Linear Frequency Principle Model to Understand the Absence of Overfitting in Neural Networks},
author = {Yaoyu Zhang and Tao Luo and Zheng Ma and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2102.00200},
year = {2021}
}
备注
to appear in Chinese Physics Letters