高维深度学习：$L^2(\mathbb{R}^d,\gamma_d)$ 中解析函数的神经网络逼近

针对人工深度神经网络，我们证明了当 $d\in {\mathbb{N}}\cup\{ \infty \}$ 时，解析函数 $f:\mathbb{R}^d\to\mathbb{R}$ 在 $L^2(\mathbb{R}^d,\gamma_d)$ 范数下的表达式率。这里 $\gamma_d$ 表示 $\mathbb{R}^d$ 上的高斯乘积概率测度。我们特别考虑了整数 $k\geq 2$ 时的 ReLU 和 ReLU${}^k$ 激活函数。对于 $d\in\mathbb{N}$，我们展示了 $L^2(\mathbb{R}^d,\gamma_d)$ 中的指数收敛率。在 $d=\infty$ 的情形下，在对 $f:\mathbb{R}^{\mathbb{N}}\to\mathbb{R}$ 施加适当的光滑性与稀疏性假设后，其中 $\gamma_\infty$ 表示 $\mathbb{R}^{\mathbb{N}}$ 上的无限（高斯）乘积测度，我们证明了在 $L^2(\mathbb{R}^{\mathbb{N}},\gamma_\infty)$ 范数下与维数无关的表达式率界。这些收敛率仅依赖于映射 $f$ 到 $\mathbb{C}^d$ 中条带乘积的（解析延拓的）量化全纯性。作为一个应用，我们证明了具有对数高斯随机场输入的椭圆偏微分方程响应面的深度 ReLU 神经网络的表达式率界。