关于Laplace核与神经切线核的相似性
机器学习
2020-11-17 v2 机器学习
摘要
近期理论工作表明，大规模过参数化神经网络等价于使用神经切线核（NTK）的核回归器。实验显示这些核方法表现类似于真实神经网络。此处我们证明全连接网络的 NTK 与标准 Laplace 核密切相关。我们从理论上证明，对于超球面上的归一化数据，两核具有相同的特征函数且其特征值以相同速率多项式衰减，意味着它们的再生核希尔伯特空间（RKHS）包含相同的函数集。这表明两核所引出的函数类具有相同的光滑性性质。两核在超球面外数据上有所不同，但实验表明当数据被适当归一化时这些差异并不显著。最后，我们在真实数据上给出比较 NTK 与 Laplace 核以及更广一类 γ-指数核的实验。我们显示它们表现几乎一致。我们的结果表明，关于神经网络的大量洞见可从对具有简单闭式形式的熟知 Laplace 核的分析中获得。
引用
@article{arxiv.2007.01580,
title = {On the Similarity between the Laplace and Neural Tangent Kernels},
author = {Amnon Geifman and Abhay Yadav and Yoni Kasten and Meirav Galun and David Jacobs and Ronen Basri},
journal= {arXiv preprint arXiv:2007.01580},
year = {2020}
}