图谱限制假设：通过无限宽度分析理解神经网络剪枝
机器学习
2025-10-21 v1 人工智能
摘要
稀疏神经网络虽然承诺高效，但有效训练它们仍是根本性挑战。尽管剪枝方法取得了进展，但理解为何某些稀疏结构在相同稀疏度下可训练性更好，仍不为人知。为解决这一根本问题，本文提出一种基于图限制理论（特别是图谱）的新型理论框架，用于 characterize 无限宽度下的稀疏神经网络。我们的关键洞察是，随着网络宽度趋于无限，由剪枝方法诱导的稀疏神经网络连通性模式收敛于特定图谱，这编码了不同剪枝方法的隐式结构偏置。我们假设立即的图谱限制假设，并提供实证支持。借助图谱表示，我们推导图谱神经张量核（Graphon NTK）以研究无限宽度极限下稀疏网络的训练动力学。图谱 NTK 为稀疏网络的理论分析提供了通用框架。我们经验性地表明，图谱 NTK 的谱分析与稀疏网络观察到的训练动力学相关，解释了不同剪枝方法的不同收敛行为。我们的框架为稀疏网络各类架构的可训练性影响提供了理论见解。
引用
@article{arxiv.2510.17515,
title = {The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis},
author = {Hoang Pham and The-Anh Ta and Tom Jacobs and Rebekka Burkholz and Long Tran-Thanh},
journal= {arXiv preprint arXiv:2510.17515},
year = {2025}
}
备注
NeurIPS 2025 Spotlight