快速通往中奖票：图神经网络的一次性剪枝再赋能
机器学习
2024-12-11 v1
摘要
图神经网络(GNNs)在各种图学习任务中展现出优越性能，但其在大型图上的计算开销阻碍了更广泛的实际应用。为解决这一问题，提出了图彩票假说(GLT)，主张在不损害性能的前提下识别子图和子网络，即中奖票。当前GLT方法的有效性很大程度上源于迭代幅度剪枝(IMP)的使用，IMP提供了比一次性剪枝更高的稳定性和更好的性能。然而，由于IMP需要迭代剪枝和重新训练，识别GLT的计算成本极高。在本文中，我们重新评估了一次性剪枝与IMP之间的关联：虽然一次性中奖票不如IMP中的中奖票，但它们提供了一条通往更强性能中奖票的快速通道。我们提出了一种一次性剪枝与去噪框架来验证快速通道的有效性。与当前基于IMP的GLT方法相比，我们的框架实现了双重胜利——具有更高稀疏度和更快速度的图彩票中奖票。通过在4个骨干网络和6个数据集上的广泛实验，我们的方法在权重稀疏度上实现了1.32%–45.62%的提升，在图稀疏度上实现了7.49%–22.71%的提升，相比基于IMP的方法实现了1.7–44倍的速度加速，以及95.3%–98.6%的MAC节省。
引用
@article{arxiv.2412.07605,
title = {Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks},
author = {Yanwei Yue and Guibin Zhang and Haoran Yang and Dawei Cheng},
journal= {arXiv preprint arXiv:2412.07605},
year = {2024}
}
备注
AAAI 2025