使用基于 ReLU 激活函数的深度神经网络的非参数回归

考虑多元非参数回归模型。本文证明，在回归函数的一般复合假设下，基于具有 ReLU 激活函数且网络架构经过适当选择的稀疏连接深度神经网络的估计量能够达到极小极大收敛速度（至多相差 $\log n$ 因子）。该框架包含许多已被充分研究的结构约束，例如（广义）可加模型。尽管网络架构具有很大的灵活性，但其调节参数是网络的稀疏度。具体而言，我们考虑潜在网络参数数量超过样本量的大型网络。该分析为多层前馈神经网络在实践中表现良好的原因提供了一些见解。有趣的是，对于 ReLU 激活函数，神经网络架构的深度（层数）起着重要作用，且我们的理论表明，对于非参数回归，将网络深度随样本量进行缩放是自然的。此外还证明，在复合假设下，小波估计量只能达到次优速度。