Early-Bird GCNs：通过抽取早鸟彩票实现图-网络协同优化以更高效地进行GCN训练与推理
机器学习
2025-03-04 v3 计算机视觉与模式识别
社会与信息网络
摘要
图卷积网络(GCNs)已成为图上表示学习的最先进深度学习模型。然而，在大型图数据集上训练和推理GCN仍然极具挑战性，限制了其在大型真实世界图上的应用，并阻碍了对更深更复杂GCN图的探索。这是因为随着图规模增长，海量的节点特征和庞大的邻接矩阵很容易使所需内存和数据搬移发生爆炸。为应对上述挑战，我们探索了在稀疏化GCN图时抽取彩票的可能性，即大幅缩减邻接矩阵却能达到与其全图相当甚至更优精度的子图。具体而言，我们首次发现图早鸟(GEB)彩票在稀疏化GCN图的最早期阶段即已出现，并提出了一种简单而有效的检测器来自动识别此类GEB彩票的出现。此外，我们倡导图-模型协同优化，并开发了一种通用的高效GCN早鸟训练框架GEBT，可通过(1)在GCN图与模型间抽取联合早鸟彩票以及(2)同时稀疏化GCN图与模型来显著提升GCN训练效率。在各种GCN模型和数据集上的实验一致验证了我们的GEB发现及GEBT的有效性，例如，与最先进方法相比，我们的GEBT实现了高达80.2%~85.6%和84.6%~87.5%的GCN训练与推理成本节省，同时提供了相当甚至更优的精度。我们的源代码和补充附录可在 https://github.com/RICE-EIC/Early-Bird-GCN 获取。
引用
@article{arxiv.2103.00794,
title = {Early-Bird GCNs: Graph-Network Co-Optimization Towards More Efficient GCN Training and Inference via Drawing Early-Bird Lottery Tickets},
author = {Haoran You and Zhihan Lu and Zijian Zhou and Yonggan Fu and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2103.00794},
year = {2025}
}
备注
Accepted by AAAI 2022