标签感知神经正切核:迈向更好的泛化与局部弹性
机器学习
2020-10-30 v2 机器学习
摘要
作为对过参数化神经网络(NNs)训练动力学建模的流行方法,神经正切核(NTK)在泛化能力上已知落后于真实世界的 NNs。这一性能差距部分源于 NTK 的\textit{标签不可知}性质,导致其所得核不如 NNs 那样\textit{局部弹性}~\citep{he2019local}。在本文中,我们从\textit{标签感知}的视角提出一种新方法来缩小 NTK 的这一差距。具体而言,我们利用 Hoeffding 分解,提出两种标签感知核,每种均为一个标签不可知部分与一组具有递增标签依赖复杂度的标签感知部分的叠加。通过理论与实证证据,我们表明使用所提核训练的模型在泛化能力与局部弹性方面更好地模拟了 NNs。
引用
@article{arxiv.2010.11775,
title = {Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity},
author = {Shuxiao Chen and Hangfeng He and Weijie J. Su},
journal= {arXiv preprint arXiv:2010.11775},
year = {2020}
}
备注
NeurIPS 2020 camera ready version, 32 pages, 2 figures, 3 tables