深度神经网络中随频率衰减率的上限
机器学习
2022-08-23 v3 数值分析
数值分析
摘要
深度神经网络（DNN）通常从低频到高频学习目标函数，这被称为频率原理或谱偏置。该频率原理揭示了 DNN 的高频诅咒——难以学习高频信息。受频率原理启发，一系列工作致力于开发克服高频诅咒的算法。一个自然的问题是：训练 DNN 时随频率衰减率的上限是什么？本工作中，我们的理论（经数值实验证实）表明，DNN 训练中存在一个随频率衰减的临界衰减率。在衰减率上限之下，DNN 用具有某种正则性的函数插值训练数据。然而，在上限之上，DNN 用平凡函数插值训练数据，即仅在训练数据点处非零的函数。我们的结果表明，克服高频诅咒的更好方法是设计适当的预条件方法将高频信息移至低频，这与之前开发的几种快速学习高频信息的算法一致。更重要的是，本工作严格证明了高频诅咒是 DNN 的固有困难。
引用
@article{arxiv.2105.11675,
title = {An Upper Limit of Decaying Rate with Respect to Frequency in Deep Neural Network},
author = {Tao Luo and Zheng Ma and Zhiwei Wang and Zhi-Qin John Xu and Yaoyu Zhang},
journal= {arXiv preprint arXiv:2105.11675},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2012.03238