具有 ReLU-正弦-指数激活函数的深度神经网络打破 Hölder 类逼近中的维数灾难

本文构造了以 ReLU、正弦和 $2^x$ 为激活函数的神经网络。对于定义在 $[0,1]^d$ 上、连续模为 $\omega_f(\cdot)$ 的一般连续函数 $f$，我们构造的 ReLU-正弦-$2^x$ 网络具有逼近速率 $\mathcal{O}(\omega_f(\sqrt{d})\cdot2^{-M}+\omega_{f}\left(\frac{\sqrt{d}}{N}\right))$，其中 $M,N\in \mathbb{N}^{+}$ 表示与网络宽度相关的超参数。由此，我们可以构造深度为 $5$、宽度为 $\max\left\{\left\lceil2d^{3/2}\left(\frac{3\mu}{\epsilon}\right)^{1/{\alpha}}\right\rceil,2\left\lceil\log_2\frac{3\mu d^{\alpha/2}}{2\epsilon}\right\rceil+2\right\}$ 的 ReLU-正弦-$2^x$ 网络，在 $L^p$ 范数（$p\in[1,\infty)$）意义下以给定容差 $\epsilon >0$ 逼近 $f\in \mathcal{H}_{\mu}^{\alpha}([0,1]^d)$，其中 $\mathcal{H}_{\mu}^{\alpha}([0,1]^d)$ 表示定义在 $[0,1]^d$ 上、阶为 $\alpha \in (0,1]$、常数为 $\mu > 0$ 的 Hölder 连续函数类。因此，ReLU-正弦-$2^x$ 网络克服了 $\mathcal{H}_{\mu}^{\alpha}([0,1]^d)$ 上的维数灾难。除其极强的表达能力外，ReLU-正弦-$2^x$ 网络实现的函数是（广义）可微的，使我们能够应用 SGD 进行训练。