基于神经切线核的神经网络方法之修正

近期基于神经切线核（NTK）的理论工作阐明了过参数化网络的优化与泛化，并部分弥合了其实际成功与经典学习理论之间的鸿沟。特别是，利用基于NTK的方法，获得了以下三个代表性结果：（1）推导了训练误差界，通过反映依赖于数据复杂度的更紧致的训练速度刻画，表明网络可完美拟合任意有限训练样本。（2）利用数据相关的复杂度度量（CMD）推导了与网络规模无关的泛化误差界。由该CMD界可得，网络可泛化任意光滑函数。（3）推导了一个简单且解析的核函数，其确实等价于完全训练的网络。该核在少样本学习中优于其对应网络及现有黄金标准随机森林（Random Forests）。为使所有这些结果成立，网络缩放因子 $\kappa$ 应随样本量 n 递减。然而，在 $\kappa$ 递减的这一情形下，我们证明上述结果出人意料地是错误的。这是因为当 $\kappa$ 随 n 递减时，训练网络的输出值减小至零。为解决此问题，我们通过本质上去除受 $\kappa$ 影响的值来收紧关键界。我们更紧致的分析解决了缩放问题，并使得原始基于NTK的结果得以验证。