通用深度神经网络频率原理的理论
机器学习
2019-07-03 v2 最优化与控制
机器学习
摘要
随着深度神经网络（DNNs）在现实问题中的丰富应用，近期一些关于 DNNs 的经验研究报道了一个普遍现象——频率原理（F-Principle）：DNN 在训练过程中倾向于从低频到高频学习目标函数。F-Principle 在提供对 DNNs 的定性与定量理解上非常有用。本文中，我们严格研究通用 DNN 在训练动力学三阶段——初始阶段、中间阶段与最终阶段——的 F-Principle。对每一阶段，给出一个以刻画 F-Principle 的适当量表述的定理。我们的结果具有一般性，适用于带通用激活函数、数据总体密度及一大类损失函数的多层网络。我们的工作为更好理解 DNNs 训练过程的 F-Principle 奠定了理论基础。
引用
@article{arxiv.1906.09235,
title = {Theory of the Frequency Principle for General Deep Neural Networks},
author = {Tao Luo and Zheng Ma and Zhi-Qin John Xu and Yaoyu Zhang},
journal= {arXiv preprint arXiv:1906.09235},
year = {2019}
}
备注
under review