具有参数 {0,±1/2,±1,2} 的深度神经网络函数逼近
机器学习
2021-07-26 v3 机器学习
摘要
本文证明了 光滑函数可由具有 ReLU 激活函数且参数为 的深度神经网络逼近。因此，所考虑网络的 与 参数范数等价。所构造网络的深度、宽度和活跃参数数量，在相差一个对数因子的意义下，对逼近误差的依赖关系与参数在 中的网络相同。特别地，这意味着用所构造网络进行的非参数回归估计与用参数在 中的稀疏网络具有相同的收敛速率。
引用
@article{arxiv.2103.08659,
title = {Function approximation by deep neural networks with parameters $\{0,\pm \frac{1}{2}, \pm 1, 2\}$},
author = {Aleksandr Beknazaryan},
journal= {arXiv preprint arXiv:2103.08659},
year = {2021}
}