高斯RKHS与神经网络之间的间隙：无限中心渐近分析

最近的研究表明,无限宽度有界范数单隐藏层神经网络在函数空间归纳偏置方面表现为一种类似于有界变差类型空间的范畴。这种新型神经网络巴拿赫空间包含许多经典的多变量函数空间,包括特定的Sobolev空间和谱Barron空间。值得注意的是,这种巴拿赫空间也包含那些仅在少数方向上变化的函数。在有界域上,人们已知高斯再生核希尔伯特空间(RKHS)严格嵌入到该巴拿赫空间中,表明高斯RKHS与神经网络巴拿赫空间之间存在明显的间隙。然而,当在无界域上(例如整个$\mathbb{R}^d$)研究这些空间时,故事则截然不同。我们建立了以下基本结果: Certain函数位于高斯RKHS中,但在神经网络巴拿赫空间中具有无限范数。这为核方法与神经网络之间的差距提供了非平凡的实例,通过展示核方法容易表示而神经网络无法表示的函数。