双管齐下：通过语义与拓扑感知提升图稀疏训练
机器学习
2024-02-05 v1
摘要
图神经网络（GNNs）在各种图学习任务中表现出色，但在应用于大规模图时面临计算挑战。一个有前景的解决方案是移除非必要边以减少 GNN 中的计算开销。以往的文献通常分为两类：拓扑引导和语义引导。前者保留了某些图的拓扑属性，但由于与神经网络训练集成度低，在 GNN 上往往表现不佳。后者在 GNN 的较低稀疏度下表现良好，但在较高稀疏度水平下面临性能崩溃。有鉴于此，我们首次提出了一条新的研究路线和概念，称为图稀疏训练（GST），它在数据层面动态地操纵稀疏性。具体来说，GST 首先以较低的训练成本构建一个拓扑与语义锚点，然后执行动态稀疏训练，使稀疏图与锚点对齐。我们引入了均衡稀疏化原则来指导这一过程，有效地平衡了拓扑和语义信息的保留。最终，GST 产生了一个具有最大拓扑完整性和无性能下降的稀疏图。在 6 个数据集和 5 个骨干网络上的大量实验表明，GST (I) 在比最先进的稀疏化方法更高的图稀疏度水平（1.67%~15.85% ）下识别子图，(II) 保留了更多关键谱特性，(III) 在 GNN 推理中实现了 1.27-3.42 的加速，并且 (IV) 成功帮助了图对抗防御和图彩票。
引用
@article{arxiv.2402.01242,
title = {Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness},
author = {Guibin Zhang and Yanwei Yue and Kun Wang and Junfeng Fang and Yongduo Sui and Kai Wang and Yuxuan Liang and Dawei Cheng and Shirui Pan and Tianlong Chen},
journal= {arXiv preprint arXiv:2402.01242},
year = {2024}
}