准确、高效且可扩展的图神经网络训练

图神经网络（GNNs）是在图上生成节点嵌入的强大深度学习模型。当在大型图上应用深层GNN时，以高效且可扩展的方式进行训练仍具挑战性。我们提出了一种新颖的并行训练框架。通过采样小 subgraph 作为 minibatch，与最先进的 minibatch 方法相比，我们将训练工作量降低了数个数量级。随后我们在紧耦合的共享内存系统上并行化关键计算步骤。对于图采样，我们利用采样器实例内与实例间的并行性，并提出一种支持采样器并发访问的高效数据结构。该并行采样器在理论上相对于处理单元数量实现了近线性加速。对于 subgraph 内的特征传播，我们通过数据划分改善缓存利用率并减少 DRAM 流量。与最优方案相比，我们的划分策略在最小化通信成本方面是一个 2-近似策略。我们进一步开发了运行时调度器，以重排训练操作并调整 minibatch subgraph 来提升并行性能。最后，我们将上述并行化策略推广以支持多种类型的 GNN 模型与图采样器。所提出的训练同时在可扩展性、效率与准确性上优于最先进水平。在 40 核 Xeon 平台上，与串行实现相比，我们在采样步骤实现了 60 倍加速（含 AVX），在特征传播步骤实现了 20 倍加速。我们的算法实现了深层 GNN 的快速训练，与 Tensorflow 实现相比有数量级的加速。我们在 https://github.com/GraphSAINT/GraphSAINT 开源了代码。