BiFeat：通过图特征量化加速GNN训练
机器学习
2023-02-20 v2
摘要
图神经网络（GNNs）是非欧几里得数据应用的一种有前景的方法。然而，在具有数亿节点的规模图上训练GNN既耗费资源又耗时。与DNN不同，GNN通常具有更大的内存占用，因此GPU内存容量和PCIe带宽是GNN训练中的主要资源瓶颈。为解决该问题，我们提出BiFeat：一种图特征量化方法，通过显著减少内存占用和PCIe带宽需求来加速GNN训练，使GNN能充分利用GPU计算能力。我们的核心见解是，与DNN不同，GNN较不易受量化引起的输入特征信息损失影响。我们确定了图特征量化中影响精度的主要因素，并从理论上证明BiFeat训练收敛到一个损失在未经压缩网络最优损失范围内的网络。我们使用多个流行的GNN模型和数据集（包括最大公开图数据集MAG240M上的GraphSAGE）对BiFeat进行了广泛评估。结果表明，BiFeat实现了超过30的压缩比，并以微小的精度损失将GNN训练速度提升200%-320%。特别地，BiFeat仅用四块GPU在一小时内完成MAG240M上GraphSAGE的训练，创下纪录。
引用
@article{arxiv.2207.14696,
title = {BiFeat: Supercharge GNN Training via Graph Feature Quantization},
author = {Yuxin Ma and Ping Gong and Jun Yi and Zhewei Yao and Cheng Li and Yuxiong He and Feng Yan},
journal= {arXiv preprint arXiv:2207.14696},
year = {2023}
}