NTK 的前特征函数：线性神经网络案例及其扩展
机器学习
2026-02-04 v1 人工智能
摘要
深度学习模型的一个长期问题是捷径学习。在训练数据被某一特征主导的情况下，神经网络倾向于学习该特征，即使该特征在训练集之外的情境下难以泛化。基于神经切向核（NTK）框架，我们对线性神经网络进行分析，推导出捷径学习的若干重要性质。我们将神经网络的特征定义为 NTK 的特征函数。随后，我们发现，当捷径来源于聚类分布中样本数量不平衡时，具有较大特征值的特征即为捷径特征。我们还表明，尽管在训练后，这些具有较大特征值的特征仍对神经网络输出产生显著影响，这源于聚类数据方差的作用。这种对特定特征的偏好，即使在控制神经网络输出边际的情况下，也依然存在，这表明最大边际偏好并非捷径学习的唯一主要原因。我们对线性神经网络的这些性质进行经验性扩展，适用于更复杂的神经网络，包括两层全连接 ReLU 网络和 ResNet-18。
引用
@article{arxiv.2602.03066,
title = {Shortcut Features as Top Eigenfunctions of NTK: A Linear Neural Network Case and More},
author = {Jinwoo Lim and Suhyun Kim and Soo-Mook Moon},
journal= {arXiv preprint arXiv:2602.03066},
year = {2026}
}