使用单层与多层前馈神经网络进行逼近的负面结果

我们证明了关于使用具有一个隐藏层和任意连续激活函数的前馈神经网络来逼近定义在 $\mathbb{R}^d$（其中 $d \geq 2$）紧子集上的函数的负面结果。简而言之，该结果表明存在如人们所愿般难以用这些神经网络逼近的目标函数。我们还展示了针对具有任意数量隐藏层的神经网络的类似结果（对于一般 $d \in \mathbb{N}$），适用于为有理函数或具有有限段数的连续样条的激活函数。