深度网络逼近：以固定数量的神经元实现任意精度

本文构建了简单的前馈神经网络，其以固定的有限神经元数量对所有连续函数具有通用逼近性质。这些神经网络之所以简单，是因为它们采用一个简单、可计算且连续的激活函数 $\sigma$，该函数利用了三角波函数与 softsign 函数。我们首先证明，宽度 $36d(2d+1)$、深度 $11$ 的 $\sigma$ 激活网络可以在任意小误差内逼近 $d$ 维超立方体上的任意连续函数。因此，对于监督学习及其相关回归问题，这些规模不小于 $36d(2d+1)\times 11$ 的网络所生成的假设空间在连续函数空间 $C([a,b]^d)$ 中稠密，从而在 Lebesgue 空间 $L^p([a,b]^d)$（$p\in [1,\infty)$）中也是稠密的。此外，我们表明，当存在 $\mathbb{R}^d$ 中两两不相交的有界闭子集使得同类样本位于同一子集时，由图像与信号分类产生的分类函数属于宽度 $36d(2d+1)$、深度 $12$ 的 $\sigma$ 激活网络所生成的假设空间。最后，我们通过数值实验表明，用我们的激活函数替换修正线性单元（ReLU）激活函数可改善实验结果。