包含神经网络在内的岭组合之极小极大下界

考虑使用如下形式的岭组合来估计 $d$ 元函数：$\textstyle\sum_{k=1}^m c_{1,k} \phi(\textstyle\sum_{j=1}^d c_{0,j,k}x_j-b_k)$，其中激活函数 $\phi$ 为值和导数均有界的函数。这类模型包含单隐层神经网络、多项式和正弦模型。基于在随机点 $X \in B = [-1,1]^d$ 处可能含噪的容量为 $n$ 的样本，我们考察了激活函数为 $\phi$ 的岭函数的 $\ell_1$ 凸包闭包中函数的极小极大均方误差。结果表明，当 $d$ 的阶小于 $n$ 时，其阶为 $d/n$ 的分数幂；当 $d$ 的阶大于 $n$ 时，其阶为 $(\log d)/n$ 的分数幂。同时还考察了其对内部参数 $c_0$ 和外部参数 $c_1$ 的 $\ell_1$ 范数约束 $v_0$ 和 $v_1$ 的依赖性。此外，给出了分数幂的下界和上界。分析的核心是为这些函数类建立信息论填充数。