通用损失函数下深度学习中的频率原理及其潜在应用
机器学习
2018-11-27 v1 人工智能
机器学习
摘要
先前的研究表明，具有常见设置的深度神经网络（DNNs）往往从低频到高频捕获目标函数，这被称为频率原理（F-Principle）。也已表明 F-Principle 可有助于理解 DNNs 常被观察到的良好泛化能力。然而，先前的研究聚焦于均方误差损失函数，而实践中使用了多种损失函数。在本工作中，我们证明 F-Principle 对通用损失函数（例如均方误差、交叉熵等）成立。此外，DNN 的 F-Principle 可应用于发展数值格式以求解各类受益于低频快速收敛的问题。作为 F-Principle 潜在用途的一个例子，我们将 DNN 应用于求解微分方程，其中传统方法（例如 Jacobi 方法）通常由于从高频到低频的收敛而求解缓慢。
引用
@article{arxiv.1811.10146,
title = {Frequency Principle in Deep Learning with General Loss Functions and Its Potential Application},
author = {Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:1811.10146},
year = {2018}
}
备注
8 pages, 4 figures