用带 sigmoid 激活函数的深度神经网络逼近光滑函数

我们研究带 sigmoid 激活函数的深度神经网络（DNNs）的能力。近来，有研究表明 DNNs 以 $W^{-p/d}$ 的阶逼近紧集上任意 $d$ 维光滑函数，其中 $W$ 为网络中非零权重的数量，$p$ 为函数的光滑度。遗憾的是，这些速率仅对一类特殊的稀疏连接 DNNs 成立。我们自问是否能对更简单且更通用的类别（即仅由宽度和深度定义的 DNNs）展示相同的逼近速率。本文中我们证明，具有固定深度和阶为 $M^d$ 的宽度的 DNNs 可达到 $M^{-2p}$ 的逼近速率。作为结论，我们从网络总权重 $W_0$ 的角度定量刻画 DNNs 的逼近能力，并给出 $W_0^{-p/d}$ 的逼近速率。这一更通用的结果最终有助于我们理解何种网络拓扑能保证特定的目标精度。