神经正切核方法应用于神经网络的问题
机器学习
2025-01-22 v1 机器学习
摘要
神经正切核（NTK）已被提出用于从高斯过程的角度研究训练后神经网络的行为。该研究领域中的一个重要成果是训练后的神经网络与使用相应NTK的核回归之间的等价性定理。该定理允许将神经网络解释为核回归的特例。然而，这个等价性定理在实践中是否成立？在本文中，我们严格地重新审视了NTK的推导过程，并进行了数值实验来评估该等价性定理。我们观察到，向神经网络添加一层与相应更新的NTK，并不会导致预测误差发生匹配的变化。此外，我们观察到，文献中未考虑神经网络训练的高斯过程核的核回归，其产生的预测误差与使用NTK的核回归非常接近。这些观察结果表明，等价性定理在实践中并不能很好地成立，并引发了关于NTK是否能充分描述神经网络训练过程的疑问。
引用
@article{arxiv.2501.10929,
title = {Issues with Neural Tangent Kernel Approach to Neural Networks},
author = {Haoran Liu and Anthony Tai and David J. Crandall and Chunfeng Huang},
journal= {arXiv preprint arXiv:2501.10929},
year = {2025}
}