浅层与深层神经网络用于多项式逼近的表达能力
机器学习
2023-05-17 v2 机器学习
摘要
本研究探讨Rectified Linear Unit（ReLU）神经网络逼近多元单项式所需的神经元数量。我们建立了对任意浅层网络在一般紧集域上逼近乘积函数复杂度的指数下界。我们还证明该下界不适用于单位立方体上的归一化Lipschitz单项式。这些发现表明，当表达具有随输入维度缩放的Lipschitz参数的函数时，浅层ReLU网络会遭遇维度灾难，且神经网络的表达能力更依赖于其深度而非总体复杂度。
引用
@article{arxiv.2303.03544,
title = {Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation},
author = {Itai Shapira},
journal= {arXiv preprint arXiv:2303.03544},
year = {2023}
}
备注
This paper contains 14 pages and no figures. This is a revised version with significant changes in sections 4 to clarify the proof of the main result