深度神经网络逼近率的相图
神经与进化计算
2021-01-07 v2 机器学习
摘要
我们探索深度神经网络逼近率的相图并证明若干新理论结果。特别地，我们将ReLU网络中存在深度不连续相的已有结果推广到任意正光滑度的函数类，并确定了可行与不可行率之间的边界。此外，我们证明所有具有分段多项式激活函数的网络具有相同的相图。接着，我们表明具有独立于光滑度固定宽度的标准全连接架构可自适应于光滑度并达到近乎最优的率。最后，我们考虑具有周期激活函数的深度网络（“深度傅里叶展开”），并证明由于其实现高效查找操作的新兴能力，它们具有非常快、近乎指数的逼近率。
引用
@article{arxiv.1906.09477,
title = {The phase diagram of approximation rates for deep neural networks},
author = {Dmitry Yarotsky and Anton Zhevnerchuk},
journal= {arXiv preprint arXiv:1906.09477},
year = {2021}
}
备注
The final version published at NeurIPS 2020