深度频率原理：理解为何更深的学习更快
机器学习
2020-12-22 v2 机器学习
摘要
理解深度在深度学习中的影响是一个关键问题。本工作中，我们利用傅里叶分析从经验上提供一个有前景的机制，以理解为何前馈式更深的学习更快。为此，我们将一个由标准随机梯度下降训练的深度神经网络在分析时分为两部分，即预条件组件与学习组件，其中预条件组件的输出是学习组件的输入。我们使用滤波方法刻画高维函数的频率分布。基于深度网络与真实数据集的实验，我们提出深度频率原理：在训练过程中，较深的隐藏层所对应的有效目标函数偏置于更低频率。因此，若预条件组件具有更多层，则学习组件有效地学习一个更低频率的函数。由于已被充分研究的频率原理（即深度神经网络更快学习低频函数），深度频率原理为为何更深的学习更快提供了合理的解释。我们相信这些经验研究对未来深度学习中深度影响的理论研究具有价值。
引用
@article{arxiv.2007.14313,
title = {Deep frequency principle towards understanding why deeper learning is faster},
author = {Zhi-Qin John Xu and Hanxu Zhou},
journal= {arXiv preprint arXiv:2007.14313},
year = {2020}
}