Weisfeiler 与 Leman 赌博:为什么具备表达力的彩票门票能赢
机器学习
2025-06-05 v1
摘要
彩票门票假设(Lottery Ticket Hypothesis, LTH)已广泛研究针对卷积神经网络,但仅在图神经网络(GNN)上经验上验证,缺乏理论发现。在本文中,我们确定稀疏子网络的表达力——即其区分非同构图的能力——对于找到保留预测性能的获奖门票至关重要。我们在稀疏初始化GNN的表达力匹配完整网络的条件下建立了理论,特别是与 Weisfeiler-Leman 测试进行比较,并在此背景下提出并证明了强型彩票门票假设。随后我们表明,初始化中的提高表达力可能加速模型收敛并提高泛化。我们的发现为LTH和GNN研究建立了新的理论基础,突显了在稀疏初始化GNN中保持表达力的重要性。我们使用来自药物发现的示例来说明我们的结果。
引用
@article{arxiv.2506.03919,
title = {Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win},
author = {Lorenz Kummer and Samir Moustafa and Anatol Ehrlich and Franka Bause and Nikolaus Suess and Wilfried N. Gansterer and Nils M. Kriege},
journal= {arXiv preprint arXiv:2506.03919},
year = {2025}
}
备注
Accepted at ICML 2025