无限宽浅层神经网络的Lipschitz空间视角

我们重新审视了浅层神经网络的均值场参数化，使用了无界参数空间上的符号测度以及考虑了激活函数正则性和增长性的对偶配对。这种设置直接导致使用由Lipschitz函数对偶定义的非平衡Kantorovich-Rubinstein范数，以及与控制增长连续函数空间对偶的测度空间。这些使得为了获得变分公式化最小化子的存在性而需要全变差和矩界或惩罚变得透明，我们在此条件下证明了强Kantorovich-Rubinstein范数下的紧致性结果，并在缺乏这些条件的情况下展示了几个展示不良行为的例子。此外，Kantorovich-Rubinstein设置使我们能够将完全线性参数化和随之产生的再生核Banach空间框架的优势与最优传输的见解结合起来。我们通过表示定理和经验风险最小化的均匀大数据极限，以及在蒸馏和融合应用中提出的公式化来展示这种协同作用。