近似流形上的深度非参数回归：具多项式前因子的非渐近误差界

我们研究使用深度神经网络进行非参数最小二乘回归的性质。我们推导了前馈深度神经回归的经验风险最小化器的预测误差的非渐近上界。我们的误差界达到了极小极大最优速率，并且在依赖于预测变量维度的多项式而非维度的指数意义下，显著改进了现有结果。我们表明，在预测变量支撑于近似低维流形或具有低 Minkowski 维数的集合的假设下，神经回归估计量可以规避维数灾难。我们还建立了在精确流形支撑假设下的最优收敛速率。我们研究了神经回归估计量的预测误差如何依赖于神经网络的结构，并提出了两类神经网络之间网络相对效率的概念，该概念为评估不同网络结构的相对优劣提供了定量度量。为建立这些结果，我们推导了使用 ReLU 激活神经网络对具有正光滑指数的 Hölder 光滑函数的新颖逼近误差界，这本身可能具有独立意义。我们的结果是在比现有文献更弱的数据分布与神经网络结构假设下导出的。