平滑激活函数在常深度神经网络中的平滑性自适应性：通过最优率实现最优速率

平滑激活函数在现代深度学习中广泛应用，但其相对于非平滑方法的理论优势仍不明确。本文研究采用平滑激活函数的神经网络在 Sobolev 空间 $W^{s,\infty}([0,1]^d)$ 中的 $s>0$ 函数学习的近似与统计性质。我们证明，常深度网络配合平滑激活函数可实现平滑性自适应性：仅通过增加宽度即可达到 minimax 最优近似与估计误差速率（最高可达对数因子）。相比之下，ReLU 等非平滑激活函数的平滑性自适应性在深度上受根本性限制：可达的近似阶数受深度上限，更高阶平滑性需随深度比例增长。上述结果识别激活函数的平滑性作为实现 Sobolev 函数类最优速率的基本机制，补充深度的作用。技术上，我们基于多尺度近似框架，得到具有受控参数范数与模型规模的显式神经网络近似器。该复杂度控制确保在经验风险最小化 (ERM) 下的统计可学习性，避免先前分析中常见的不可行 $\ell^0$ 稀疏约束。