加速图神经网络的基于存储的训练

图神经网络（GNNs）由于其强大的表达能力，在各种实际下游任务中取得了突破。随着实际图的规模不断增大，一种基于存储的图神经网络训练方法受到关注，该方法利用外部存储（如 NVMe SSD）在单机上处理此类 web 规模的图。虽然此类基于存储的图神经网络训练方法在大规模图神经网络训练中显示出良好的潜力，但我们注意到它们在数据准备方面存在严重瓶颈，因为它们忽略了一个关键挑战：如何处理大量小型存储 I/O。为解决这一挑战，本文提出了一种新颖的基于存储的图神经网络训练框架，称为 AGNES（Block-wise storage I/O processing for GNN training），其采用块级存储 I/O 处理方法以充分利用高性能存储设备的 I/O 带宽。此外，为进一步提高每个存储 I/O 的效率，AGNES 采用一种简单而有效的策略，即基于实际图特性的 hyperbatch（超批次）处理。对五个实际图进行的全面实验表明，AGNES consistently outperforms 四个最先进的方法，比最佳竞争方法快高达 4.1 倍。我们的代码已公开：https://github.com/Bigdasgit/agnes-kdd26。