面向神经网络与岭样条的巴拿赫空间表示定理

我们发展了一个变分框架，以理解由拟合数据的神经网络所学习到的函数的性质。我们提出并研究了一类连续域线性反问题，其在Radon域中具有类似全变差的正则化并受数据拟合约束。我们推导出一个表示定理，表明有限宽度、单隐藏层神经网络是这些反问题的解。我们借鉴了变分样条理论中的许多技术，因此提出了多项式岭样条的概念，其对应于以截断幂函数作为激活函数的单隐藏层神经网络。该表示定理令人联想到经典的再生核希尔伯特空间表示定理，但我们表明神经网络问题是在非希尔伯特的巴拿赫空间上提出的。虽然学习问题在连续域中提出，类似于核方法，但这些问题可以重新表述为有限维神经网络训练问题。这些神经网络训练问题具有与著名的权重衰减和路径范数正则化相关的正则化项。因此，我们的结果深入揭示了训练神经网络的函数特性以及神经网络正则化器的设计。我们还表明这些正则化项促使神经网络解具有理想的泛化性质。