在硬间隙条件下，神经网络分类器的超快收敛速率

我们研究在 Tsybakov 的低噪声条件下（指数 $q>0$），以及其极限情形 $q=\infty$（即硬间隙条件）下的深度神经网络（DNN）假设空间的二分类问题。我们展示，对于广泛使用的激活函数（包括但不限于 ReLU、LeakyReLU、ELU、CELU、SELU、Softplus、GELU、SiLU、Swish、Mish 和 Softmax），DNN 对平方损失代理和 $\ell_p$ 权重正则化的经验风险最小化（ERM）问题所得解，能在低噪声条件下实现 $\mathcal{O}\left(n^{-\alpha}\right)$ 阶的剩余风险界，其中 $\alpha$ 接近 1；在硬间隙条件下可实现任意大的 $\alpha>1$，前提是贝叶斯回归函数 $\eta$ 相对于边际数据分布 $\rho_{X}$ 满足分布适应光滑性条件。此外，当激活函数选为 $\tanh$ 或 sigmoid 时，我们证明相同速率也可从标准假设 $\eta\in \mathcal{C}^s$ 推出。最后，我们建立 minimax 下界，表明这些速率在 $q\ge2$ 时不可再进一步提升。我们的证明依赖一种用于通用 ERM 分类器的剩余风险新型分解，可能与此无关。