通过图谱极限视角考察初始化时剪枝：收敛性、可表达性与泛化性
机器学习
2026-02-09 v1
摘要
初始化时剪枝方法在训练前发现稀疏、可训练的子网络，但其理论机制仍鲜有了解。现有分析通常仅限于有限宽度的统计数据，缺乏对随网络规模增大而出现的全局稀疏模式进行严格刻画的能力。本文通过图谱极限理论建立离散剪枝启发式方法与图谱的联系，确立 PaI 掩码的图谱极限。我们引入了因子化敏感度模型，涵盖流行的剪枝准则，并证明在正则性条件下，这些算法生成的离散掩码收敛于表示均匀连通性的齐次图谱，或编码隐式特征选择的异质图谱。借助这一连续特征描述，我们派生出两个根本性理论结果：(i) 稀疏网络的通用逼近定理，仅取决于活跃坐标子空间的固有维数；(ii) 基于图谱-NTK 的泛化界，阐明极限图谱如何调制核几何，与信息性特征保持一致。我们的结果将稀疏神经网络的研究从组合图论问题转化为连续算子框架，为分析稀疏神经网络的可表达性与泛化性提供了新机制。
引用
@article{arxiv.2602.06675,
title = {Pruning at Initialisation through the lens of Graphon Limit: Convergence, Expressivity, and Generalisation},
author = {Hoang Pham and The-Anh Ta and Long Tran-Thanh},
journal= {arXiv preprint arXiv:2602.06675},
year = {2026}
}