SpanGNN：基于跨子训练的图神经网络内存高效方法
机器学习
2024-06-10 v1 人工智能
摘要
图神经网络（GNN）在学习图数据方面具有优越的能力。完整图GNN训练通常具有高准确性，但会产生较大的峰值内存占用，在处理大规模图时会遇到内存溢出问题。为此，流行的解决方案是小批量GNN训练，但这种方法会增加训练方差并牺牲模型准确性。本文提出了一种新的内存高效GNN训练方法，称为SpanGNN。SpanGNN通过一系列跨子训练来训练GNN模型，这些跨子由空结构构建。为克服过大的峰值内存消耗问题，SpanGNN从原始图中选择一组边缘，以在每个纪元之间逐步更新跨子。为确保模型准确性，我们引入两种边采样策略（即方差降低和噪声降低），帮助SpanGNN为GNN学习选择高质量边缘。我们在广泛使用的基准数据集上进行实验，表明SpanGNN在模型性能和低峰值内存使用方面具有优势。
引用
@article{arxiv.2406.04938,
title = {SpanGNN: Towards Memory-Efficient Graph Neural Networks via Spanning Subgraph Training},
author = {Xizhi Gu and Hongzheng Li and Shihong Gao and Xinyan Zhang and Lei Chen and Yingxia Shao},
journal= {arXiv preprint arXiv:2406.04938},
year = {2024}
}