带有 $\ell^1$ 和 $\ell^0$ 控制的 ReLU 与平方 ReLU 脊函数组合的逼近

我们针对由 ReLU（修正线性单元）和平方 ReLU 脊函数的线性组合逼近的多变量函数，建立了 $L^{\infty}$ 和 $L^2$ 误差界，并对其内层和外层参数施加 $\ell^1$ 和 $\ell^0$ 控制。利用平方 ReLU 脊函数，我们证明了 $L^2$ 逼近误差与内层 $\ell^0$ 稀疏度成反比，且只需对外层 $\ell^0$ 稀疏度呈次线性关系。我们的构造是通过 Jones-Barron 概率方法的一种变体获得的，该方法可以解释为按比例分配的分层抽样或两阶段整群抽样。我们还提供了配套的误差下界，揭示了我们的构造具有近最优性。尽管有稀疏性假设，我们通过根据某些谱条件定义一个庞大的函数族，展示了这些脊组合的丰富性和灵活性，这些函数可以被它们特别良好地逼近。