深度学习中超越基于梯度下降训练的频域原理
机器学习
2021-01-05 v1
摘要
频域视角近来在理解深度学习中取得进展。在实证与理论研究中已广泛验证，深度神经网络（DNNs）常从低频到高频拟合目标函数，即频域原理（F-Principle）。F-Principle 揭示了 DNNs 的优势与不足，并启发了一系列后续工作，包括理论研究、实证研究以及高效 DNN 结构设计等。先前工作在基于梯度下降的训练中考察了 F-Principle。目前尚不清楚基于梯度下降的训练是否为 F-Principle 的必要条件。本文中，我们表明 F-Principle 在非基于梯度下降的 DNNs 训练过程中稳定存在，包括带梯度信息的优化算法（如共轭梯度和 BFGS）以及无梯度信息的算法（如 Powell 方法和粒子群优化）。这些实证研究显示了 F-Principle 的普适性，并为进一步研究 F-Principle 提供了线索。
引用
@article{arxiv.2101.00747,
title = {Frequency Principle in Deep Learning Beyond Gradient-descent-based Training},
author = {Yuheng Ma and Zhi-Qin John Xu and Jiwei Zhang},
journal= {arXiv preprint arXiv:2101.00747},
year = {2021}
}