解析过参数化神经网络中深度在神经张量核中的作用
机器学习
2025-11-11 v1 机器学习
摘要
过参数化全连接神经网络在宽度、学习率和参数初始化方面满足一定轻微条件时，表现为 kernel 模型。当宽度无限大且学习率趋于小时，可获得的 kernel 允许以闭式解表示所学模型的输出。这种闭式解依赖于极限 kernel 的可逆性，而这在实际数据集上往往成立。本文我们分析大型 ReLU 网络对深度的敏感性，通过表征相应的极限 kernel 来实现。我们的理论结果表明，归一化的极限 kernel 趋向于全 1 矩阵。相反，我们表明相应的闭式解在球面上趋向于固定极限。我们经验评估了观察到这种收敛行为所需的网络深度数量，并描述了使我们的结果对其他 kernel 通用的基本属性。
引用
@article{arxiv.2511.07272,
title = {Understanding the role of depth in the neural tangent kernel for overparameterized neural networks},
author = {William St-Arnaud and Margarida Carvalho and Golnoosh Farnadi},
journal= {arXiv preprint arXiv:2511.07272},
year = {2025}
}