使用深度 ReLU 网络在低维流形上的非参数回归：函数逼近与统计恢复

真实世界数据常展现低维几何结构，并可被视为位于低维流形附近的样本。本文研究使用深度 ReLU 网络对低维流形上 Hölder 函数的非参数回归。设 $n$ 个训练数据采样自支撑于等距嵌入 $\mathbb{R}^D$ 中 $d$ 维 Riemannian 流形上、属于 $\mathcal{H}^{s,\alpha}$ 的 Hölder 函数，且带有亚高斯噪声。设计一种深度 ReLU 网络架构以从训练数据估计底层函数。经验估计器的均方误差被证明以 $n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n$ 阶收敛。该结果表明深度 ReLU 网络给出了依赖于数据内蕴维数 $d$ 的快速收敛率，而 $d$ 通常远小于 ambient 维数 $D$。因此它展示了深度 ReLU 网络对数据低维几何结构的适应性，并部分解释了深度 ReLU 网络在处理具有低维几何结构的高维数据上的能力。