基于自适应时空图神经网络的图型获奖票识别预训练
机器学习
2024-06-17 v2
摘要
本文提出一种新方法,通过引入图型获奖票(Graph Winning Ticket, GWT)的概念,显著提升自适应时空图神经网络(ASTGNNs)的计算效率。该方法基于彩票假设(Lottery Ticket Hypothesis, LTH)推导而来。我们采用预先确定的星型拓扑作为GWT先验,以平衡边缘减少与高效信息传播,降低计算需求同时保持高模型性能。生成自适应时空图的时间复杂度和内存复杂度从 显著降低至 。我们的做法通过消除耗费的训练、剪枝和再训练循环,简化了ASTGNN的部署,并在多个数据集上证明,能够以大幅降低的计算成本实现与完整模型相当的性能。具体而言,我们的方法使使用单张48GB内存的A6000即可训练ASTGNNs于最大规模时空数据集,克服了原始训练中的内存不足问题,甚至实现了最先进的性能。进一步,我们从谱图理论的角度深入分析GWT的有效性,提供了实质性的理论支持。这一进展不仅证明了ASTGNNs中存在高效子网络,也拓宽了LTH在资源受限环境中的适用性,标志着图神经网络领域的重要进展。代码已公开于 https://anonymous.4open.science/r/paper-1430。
引用
@article{arxiv.2406.08287,
title = {Pre-Training Identification of Graph Winning Tickets in Adaptive Spatial-Temporal Graph Neural Networks},
author = {Wenying Duan and Tianxiang Fang and Hong Rao and Xiaoxi He},
journal= {arXiv preprint arXiv:2406.08287},
year = {2024}
}
备注
Conference paper, accepted by KDD' 24