神经网络中的深度分离：究竟是什么被分离了？

现有关于常深度网络的深度分离结果本质上表明，$\mathbb{R}^d$ 中的某些径向函数可被深度 $3$ 网络轻松逼近，但即便仅达到常数精度，除非其规模关于 $d$ 呈指数级，否则无法被深度 $2$ 网络逼近。然而，用于证明此结论的函数是快速振荡的，其 Lipschitz 参数随维数 $d$ 多项式缩放（或者等价地，通过缩放函数，该困难结果仅当目标精度 $\epsilon$ 至多为 $\text{poly}(1/d)$ 时才适用于 $\mathcal{O}(1)$-Lipschitz 函数）。本文研究在 $\epsilon$ 不随 $d$ 缩放的 $\mathcal{O}(1)$-Lipschitz 径向函数自然设定下，此类深度分离是否仍成立。或许令人惊讶的是，我们给出否定答案：与先前工作所暗示的直觉相反，对于每个常数 $\epsilon$，用深度 $2$、规模 $\text{poly}(d)$ 的网络逼近 $\mathcal{O}(1)$-Lipschitz 径向函数\emph{是}可能的。我们补充证明，对于每个常数 $d$，用深度 $2$、规模 $\text{poly}(1/\epsilon)$ 的网络逼近此类函数也是可能的。最后，我们证明不可能同时在 $d$ 与 $1/\epsilon$ 上都具有多项式依赖。总体而言，我们的结果表明，若要展示用常数精度表达 $\mathcal{O}(1)$-Lipschitz 函数的深度分离——若有可能——将需要不同于文献中现有方法的根本性新技术。