MariusGNN：资源高效的大规模图神经网络核外训练系统
机器学习
2022-10-13 v2 数据库
摘要
我们研究大规模图上图神经网络（GNNs）的训练问题。我们重新审视了针对十亿规模图使用分布式训练的前提，并表明对于可放入单机主存或 SSD 的图，使用单 GPU 的核外流水线训练可以优于最先进的（SoTA）多 GPU 方案。我们介绍了 MariusGNN，这是首个利用包括磁盘在内的完整存储层次进行 GNN 训练的系统。MariusGNN 提出了一系列数据组织和算法层面的贡献，以 1）最小化训练所需的端到端时间，以及 2）确保基于磁盘训练学到的模型展现出与全内存训练模型相近的精度。我们将 MariusGNN 与用于学习 GNN 模型的 SoTA 系统进行比较，发现 MariusGNN 中的单 GPU 训练达到相同精度水平比这些系统中的多 GPU 训练快至多 8 倍，从而带来一个数量级的货币成本降低。MariusGNN 已在 www.marius-project.org 开源。
引用
@article{arxiv.2202.02365,
title = {MariusGNN: Resource-Efficient Out-of-Core Training of Graph Neural Networks},
author = {Roger Waleffe and Jason Mohoney and Theodoros Rekatsinas and Shivaram Venkataraman},
journal= {arXiv preprint arXiv:2202.02365},
year = {2022}
}