无限宽模型核正交的快速逼近与估计界

无限宽模型是特征映射的加权积分 $\int \varphi(x,v) d \mu(v)$。该模型擅长处理无限数量的特征，因此被用于深度学习的理论研究。核正交是一种基于核的数值积分方案，用于快速逼近期望 $\int f(x) d p(x)$。在本研究中，将权重 $\mu$ 视为参数的符号（或复值/向量值）分布，我们针对参数分布发展了一般核正交（GKQ）。所提方法能以参数个数 $p$ 实现快速逼近率 $O(e^{-p})$，快于传统的 Barron 率，并以样本量 $n$ 实现快速估计率 $\widetilde{O}(1/n)$。据此，我们获得了无限宽模型一种新的基于范数的复杂度度量。由于 GKQ 隐式地执行经验风险最小化，我们可以理解该复杂度度量也反映了梯度学习设定下的泛化性能。