神经网络：深、浅，还是介于其间？
机器学习
2023-10-12 v1 机器学习
数值分析
数值分析
摘要
我们给出了由宽度 W、深度 l 且具 Lipschitz 激活函数的前馈神经网络输出对 Banach 空间中紧子集进行逼近的误差下界估计。我们表明，除去对数因子外，优于熵数速率的速率仅可能在深度 l 趋于无穷的神经网络上达到，而若固定深度并令宽度 W 趋于无穷则无任何增益。
引用
@article{arxiv.2310.07190,
title = {Neural networks: deep, shallow, or in between?},
author = {Guergana Petrova and Przemyslaw Wojtaszczyk},
journal= {arXiv preprint arXiv:2310.07190},
year = {2023}
}