克服神经网络中的维数灾难

设$A$为一个集合，$V$为一个实希尔伯特空间。设$H$为从$A$到$V$的函数$f$构成的实希尔伯特空间，并假设$H$连续嵌入于有界函数巴拿赫空间中。对$i=1,\cdots,n$，令$(x_i,y_i)\in A\times V$构成我们的数据集。令$0<q<1$，$f^*\in H$为泛函\begin{equation*} u(f) = \frac{q}{2}\Vert f\Vert_{H}^{2} + \frac{1-q}{2n}\sum_{i=1}^{n}\Vert f(x_i)-y_i\Vert_{V}^{2}. \end{equation*}的唯一全局极小元。在本文中我们证明，对每个$k\in\mathbb{N}$，存在一个两层网络，其第一层有$k$个函数，它们是点评估泛函在希尔伯特空间$H$中的里斯表示，第二层为第一层的加权和，使得这些网络实现的函数$f_k$满足\begin{equation*} \Vert f_{k}-f^*\Vert_{H}^{2} \leq \Bigl( o(1) + \frac{C}{q^2} E\bigl[ \Vert Du_{I}(f^*)\Vert_{H^{*}}^{2} \bigr] \Bigr)\frac{1}{k}. \end{equation*}通过适当选择希尔伯特空间$H$，评估点评估的里斯表示的计算复杂度可能很小，从而该网络具有低计算复杂度。