用神经网络逼近良性函数的规模与深度分离

在研究神经网络表达能力时，一个主要挑战是理解网络规模和深度如何影响其对实函数的逼近能力。然而，并非所有函数从实际角度看都有意义：感兴趣的函数通常具有多项式有界的 Lipschitz 常数，并且可以被高效计算。我们称满足这些条件函数为“良性”的，并探索 ReLU 网络在逼近良性函数时规模和深度的优势。正如我们所展示的，该问题比非良性函数的相应问题更具挑战性。我们给出了证明深度下界的障碍：证明存在一个不能被深度为 $4$ 的多项式规模网络逼近的良性函数，将解决计算复杂性中长期存在的开放问题。这意味着 beyond 深度 $4$ 之外，对于良性函数存在证明深度分离的障碍，即使在常数深度网络与非常数深度网络之间也是如此。我们还研究了规模分离，即是否存在可以用规模为 $O(s(d))$ 的网络逼近但不能用规模为 $O(s'(d))$ 的网络逼近的良性函数。我们展示了在规模 $O(d\log^2(d))$ 之外证明此类结果的计算复杂性障碍，但也展示了一个显式良性函数，它可以用规模为 $O(d)$ 的网络逼近而不能用规模为 $o(d/\log d)$ 的网络逼近。对于 $L_\infty$ 中的逼近，我们在规模 $O(d)$ 与规模 $o(d)$ 之间已经实现了这种分离。此外，我们根据对函数的假设展示了超多项式规模下界以及此类下界的障碍。我们的规模分离结果依赖于对布尔函数规模下界的分析，这具有独立意义：我们展示了用神经网络和阈值电路计算显式布尔函数的线性规模下界。