VISAGNN：大规模图上的稳健感知高效训练
机器学习
2025-11-18 v1
摘要
图神经网络（GNNs）在图表示学习和广泛的实际应用中表现卓越。然而，由于在大规模图上训练深层 GNNs 时面临邻居爆炸问题，仍面临挑战。为缓解这一问题，一种前景不错的 GNN 训练算法利用历史嵌入来减少计算和内存开销，同时保持模型的表达力。这些方法利用历史嵌入处理批次外节点，有效地在不损失任何邻居信息的情况下模拟全批次训练——这是传统抽样方法的一个局限。然而，这些历史嵌入的时滞往往会引入显著偏差，成为制约模型性能的瓶颈。本文提出一种新型 VersatIle Staleness-Aware GNN，命名为 VISAGNN，通过在训练过程中动态地和适应性地纳入时滞准则，实现了对大规模 GNN 训练的灵活且稳健的解决方案。通过将时滞嵌入消息传递机制、损失函数和历史嵌入中，Our 方法使模型能够适应性地缓解陈旧嵌入的负面影响，从而降低估计误差并提升下游准确性。全面实验表明，我们的方法在克服现有历史嵌入技术时滞问题方面有效，展示了在大规模基准测试上的卓越性能和效率，以及显著加快的收敛速度。
引用
@article{arxiv.2511.12434,
title = {VISAGNN: Versatile Staleness-Aware Efficient Training on Large-Scale Graphs},
author = {Rui Xue},
journal= {arXiv preprint arXiv:2511.12434},
year = {2025}
}