中文

ATLAS:面向十亿级图神经网络的核外高效推理

分布式、并行与集群计算 2026-05-12 v1

摘要

在十亿级图上进行图神经网络(GNN)推理对金融科技和推荐系统等领域至关重要。在分布式环境中,由于高昂的通信开销,以及在基于磁盘的核外(OOC)环境中由于高昂的 I/O 开销,在这些大图上进行全图推理极具挑战性。现有的跨磁盘与内存运行的 OOC 系统主要针对 GNN 训练,由于严重的读取放大、不规则的 I/O 以及内存压力,其在全图推理上表现不佳。我们提出了 ATLAS,一个基于磁盘的 GNN 推理框架,能够在拓扑、特征和中间嵌入超过单机可用内存的图上实现高效的全图逐层推理。ATLAS 用基于广播的模型取代了基于收集的执行模式,实现了对每层特征和嵌入的顺序单次流式读取。具有最小挂起消息驱逐机制的分层内存-磁盘存储层次结构、图重排序以及 GPU 加速流水线,在 128128 GiB RAM 和 22 TiB SSD 的配置下维持了高吞吐量。在包含高达 44B 条边和 550550 GiB 特征的核外图以及多种 GNN 架构上,ATLAS 在单工作站上将端到端推理时间相比最先进的(SOTA)OOC 基线提升了 12\approx12--30×30\times,而在特征可装入内存时,其性能偏差保持在 5%\approx5\% 以内。

关键词

引用

@article{arxiv.2605.09402,
  title  = {ATLAS: Efficient Out-of-Core Inference for Billion-Scale Graph Neural Networks},
  author = {Pranjal Naman and Yogesh Simmhan},
  journal= {arXiv preprint arXiv:2605.09402},
  year   = {2026}
}

备注

Preprint of paper to appear in the proceedings of the 35th International Symposium on High-Performance Parallel and Distributed Computing (HPDC 26): Pranjal Naman and Yogesh Simmhan, "ATLAS: Efficient Out-of-Core Inference for Billion-Scale Graph Neural Networks", in International Symposium on High-Performance Parallel and Distributed Computing (HPDC), 2026