基于社区结构感知的随机化图神经网络高效训练
机器学习
2025-04-28 v1 人工智能
摘要
图神经网络(GNNs)使能够在实际图上进行学习，mini-batch训练已成为训练GNNs的事实标准，因为它能够处理非常大的图并提高收敛速度。当前的mini-batch构建策略在很大程度上忽略了GNN训练的效率考虑。具体而言，现有的mini-batch技术采用随机化方案以提高准确率和收敛速度。然而，这些随机化方案往往对图的结构特性（例如社区结构）缺乏敏感性，导致GNN训练期间内存访问模式高度不规则，难以充分利用片上GPU缓存。另一方面，虽然基于图结构的确定性mini-batch能实现快速运行时性能，但缺乏随机性会损害最终模型的准确率和训练收敛速度。本文提出了社区结构感知随机化mini-batch(COMM-RAND)，一种新方法，弥合了上述两种方法之间的鸿沟。COMM-RAND允许实践者在纯随机性与纯图结构感知之间探索mini-batch构建的空间，从而实现接近随机mini-batch所需的准确率，同时实现更高的训练效率。我们在四个流行的图学习基准测试中评估了COMM-RAND。COMM-RAND将GNN训练时间缩短最高可达2.76倍（平均为1.8倍），同时在准确率上仅略低于流行的随机mini-batch方法1.79个百分点（平均为0.42个百分点）。
关键词
引用
@article{arxiv.2504.18082,
title = {Efficient GNN Training Through Structure-Aware Randomized Mini-Batching},
author = {Vignesh Balaji and Christos Kozyrakis and Gal Chechik and Haggai Maron},
journal= {arXiv preprint arXiv:2504.18082},
year = {2025}
}