标签-NTK 对齐及 NTK regime 下更紧的收敛界限
机器学习
2026-05-26 v1
摘要
神经网络切向核（NTK）框架通过近似线性化动力学解释过参数化神经网络中的优化，给出指数级收敛保证。然而，既有结果常常过于保守，无法匹配实际中的快速训练，因为它们依赖于最小 NTK 特征值，而这在实际中通常极小。本文我们发展更精细的收敛保证，通过刻画数据标签与 NTK 特征谱之间的相互作用。我们识别出两种关键现象：标签-NTK 对齐和残差-NTK 对齐，表明标签和残差在 NTK 特征向量上的投影与相应特征值成比例。我们提供实证证据和在温和数据假设下的理论依据。利用这些对齐特性，我们推导出更精细的收敛界限，其依赖于完整特征谱，紧密匹配实际训练动力学，显著优于经典最坏情况结果。我们进一步获得改进的泛化界限。实验在 MLP 和 CNN 上进行，覆盖多个数据集，验证了我们的理论。
引用
@article{arxiv.2605.25275,
title = {Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime},
author = {Ruchirinkil Marreddy and Chaoyue Liu},
journal= {arXiv preprint arXiv:2605.25275},
year = {2026}
}