分类任务中的神经切iment Kernel
机器学习
2026-05-26 v2
摘要
在宽神经网络中，神经切iment Kernel (NTK) 在训练期间保持近似恒定，为研究训练动力学、泛化以及与核方法的联系提供了强大的理论工具。然而，这一理论主要局限于回归损失。此前认为，对分类损失或更一般的非线性输出变换进行训练会破坏这一属性，导致 logits 发散并导致线性化失效。本文通过识别宽神经网络保持懒惰训练范式的条件，扩展了 NTK 理论到分类任务。我们证明，参数空间正则化可确保交叉熵损失下的 NTK 在训练期间保持恒定；而在无正则化情况下，当目标非退化（即所有类别都具有严格正概率）时，该范式得以恢复。在这些条件下，训练可由线性化模型良好近似，yielding an explicit characterization of the solution in terms of the NTK。我们进一步分析了随机初始化下训练后预测器的分布，并将这种模型不确定性概念与贝叶斯方法关联。
关键词
引用
@article{arxiv.2605.17606,
title = {The Neural Tangent Kernel for Classification},
author = {Jonathan Plenk and Sergio Calvo-Ordonez and Alvaro Cartea and Yarin Gal and Mark van der Wilk and Kamil Ciosek},
journal= {arXiv preprint arXiv:2605.17606},
year = {2026}
}
备注
Preprint