深度学习中的频率原理/谱偏置概述
机器学习
2024-11-13 v4
摘要
随着深度学习日益渗透工业与科学，理解深度学习愈发迫切。近年来，一条源自傅里叶分析的研究脉络通过揭示深度神经网络(DNNs)训练行为的频率原理(F-Principle 或谱偏置)——DNNs 在训练中常从低频到高频拟合函数——照亮了这一神奇的“黑箱”。F-Principle 先由一维合成数据演示，随后在高维真实数据集中得到验证。一系列后续工作增强了 F-Principle 的有效性。这种低频隐式偏置揭示了神经网络在学习低频函数上的优势以及学习高频函数上的不足。此类理解启发了实际问题中基于 DNN 的算法设计，解释了多场景中出现的实验现象，并进一步推进了从频率视角研究深度学习。虽不完备，我们提供了 F-Principle 的概述并提出了一些未来研究的开放问题。
引用
@article{arxiv.2201.07395,
title = {Overview frequency principle/spectral bias in deep learning},
author = {Zhi-Qin John Xu and Yaoyu Zhang and Tao Luo},
journal= {arXiv preprint arXiv:2201.07395},
year = {2024}
}