神经切角和无限宽度网络的数学基础
机器学习
2025-12-10 v1
摘要
我们通过神经切角核 (NTK) 探讨神经网络在无限宽度 regime 下的数学基础。我们提出了NTK特征值控制残差网络 (NTK-ECRN)，该网络集成了傅里叶特征嵌入、带层级缩放的残差连接以及随机深度，以实现对训练期间核演化的严格分析。我们的理论贡献包括推导NTK动力学的界限、描述特征值演化，并将谱特性与泛化及优化稳定性关联。实验结果在合成数据集和基准数据集上验证了预测的核行为，并展示了改进的训练稳定性和泛化能力。本工作提供了一个建立在无限宽度理论与实际深度学习架构之间的全面框架。
引用
@article{arxiv.2512.08264,
title = {Mathematical Foundations of Neural Tangents and Infinite-Width Networks},
author = {Rachana Mysore and Preksha Girish and Kavitha Jayaram and Shrey Kumar and Preksha Girish and Shravan Sanjeev Bagal and Kavitha Jayaram and Shreya Aravind Shastry},
journal= {arXiv preprint arXiv:2512.08264},
year = {2025}
}
备注
7 pages, 2 figures