深度 ReLU 神经网络克服偏积分微分方程的维数灾难

具有 ReLU 激活函数的深度神经网络(DNNs)被证明能够表达可能高维 $d$ 状态空间上线性偏积分微分方程(PIDEs)的粘性解。可容许的 PIDEs 包括高维扩散、平流以及纯跳跃 L\'{e}vy 过程的 Kolmogorov 方程。我们针对 $\mathbb{R}^d$ 上一类跳跃扩散产生的此类 PIDEs 证明:对任意合适的 $\mu^d$ 测度,存在常数 $C,{\mathfrak{p}},{\mathfrak{q}}>0$,使得对每个 $\varepsilon \in (0,1]$ 和每个 $d\in \mathbb{N}$,PIDE 粘性解的 DNN $L^2(\mu^d)$ 表达误差大小为 $\varepsilon$,且 DNN 规模以 $Cd^{\mathfrak{p}}\varepsilon^{-\mathfrak{q}}$ 为界。特别地,常数 $C>0$ 独立于 $d\in \mathbb{N}$ 和 $\varepsilon \in (0,1]$,仅依赖于 PIDE 中的系数和用于量化误差的测度。这确立了 ReLU DNNs 能够打破对应于合适马尔可夫跳跃扩散过程的线性、可能退化的 PIDEs 粘性解的维数灾难(简称 CoD)。作为所采用技术的结果,我们还得到底层跳跃扩散过程的一大类路径依赖泛函的期望可以无维数灾难地表达。