超越缩放曲线：基于 NTK 视角的神经网络内部动力学
机器学习
2025-07-08 v1
摘要
缩放定律为神经网络性能与计算成本之间的关系提供了有价值的见解，但其潜在机制仍缺乏深入理解。在本工作中，我们通过神经正切核 (NTK) 的视角，实证分析了神经网络在数据和模型缩放下的行为。该分析建立了性能缩放与神经网络内部动力学之间的联系。我们在标准视觉任务上的发现表明，即使内部模型动力学表现出相反的行为，也可能出现相似的性能缩放指数。这表明，仅凭性能缩放不足以理解神经网络的底层机制。我们还探讨了神经缩放中一个此前未解决的问题：向无限宽度极限的收敛如何影响有限宽度模型的缩放行为。为此，我们研究了随着模型宽度增加特征学习是如何丧失的，并量化了核驱动与特征驱动缩放机制之间的转变。我们确定了支持特征学习的最大模型宽度，在我们的实验设置中，该宽度比典型的大语言模型宽度小十倍以上。
引用
@article{arxiv.2507.05035,
title = {Beyond Scaling Curves: Internal Dynamics of Neural Networks Through the NTK Lens},
author = {Konstantin Nikolaou and Sven Krippendorf and Samuel Tovey and Christian Holm},
journal= {arXiv preprint arXiv:2507.05035},
year = {2025}
}