基于浅层ReLU神经网络的近极小极大最优估计

我们研究利用浅层ReLU神经网络从含噪数据中估计未知函数的问题。我们所研究的估计量最小化数据拟合误差平方和加上一个与网络权重的欧几里得范数平方成正比的正则化项。这一最小化对应于使用权重衰减训练神经网络的常见做法。当数据生成函数属于二阶Radon域有界变差空间时，我们量化了这些神经网络估计量的性能（均方误差）。该函数空间最近被提出作为与浅层ReLU神经网络相关的自然函数空间。我们推导了该函数在空间上估计问题的极小极大下界，并表明神经网络估计量在对数因子范围内是极小极大最优的。该极小极大速率不受维数灾难的影响。我们通过推导估计问题的线性极小极大下界，量化了神经网络与线性方法（包括核方法）之间的明确差距，表明线性方法在该函数空间中必然遭受维数灾难。因此，本文阐明了神经网络似乎打破维数灾难这一现象。