深度神经网络的可证明近似性质

我们讨论使用深度神经网络的函数近似。给定位于$d$维流形$\Gamma \subset \mathbb{R}^m$上的函数$f$，我们构造一个稀疏连接深度为4的神经网络，并界定其近似$f$的误差。网络的大小依赖于流形$\Gamma$的维数和曲率、$f$的复杂度（以其小波描述衡量），而仅弱依赖于外围维数$m$。本质上，我们的网络计算小波函数，这些函数由修正线性单元（ReLU）计算得到。