AIRES：通过算法-系统联合设计加速面向大规模图的 GCN 的外部内存计算

图卷积网络（GCNs）是从生物医学的蛋白质-蛋白质相互作用到大规模推荐系统等众多科学应用中的基础组件。GCNs 中用于建模图结构的关键组件是稀疏常规矩阵-矩阵乘法（SpGEMM）。随着图数据规模的不断增大，SpGEMM 常常在受限系统的 GPU 内存空间不足的情况下以外部内存方式进行计算。尽管近期努力通过 GPU 特征缓存、混合 CPU-GPU 内存布局或以稀疏格式进行计算来缓解外部 SpGEMM 的内存限制，但当前系统仍面临高 I/O 延迟和 GPU 利用率不足的问题。本文首先识别了现有系统的问题，指出稀疏格式数据对齐和内存分配是主要的性能瓶颈。我们提出了 AIRES，一种 novel algorithm-system co-design 解决方案，用于加速 GCNs 的外部 SpGEMM 计算。具体而言，从算法层面，AIRES 提出了针对稀疏格式矩阵在块级上的数据对齐问题的解决方案，并开发了一种tiling算法以促进行块级对齐。在系统层面，AIRES 采用三阶段动态调度，特点是采用双向数据传输策略，利用分层内存系统：集成 GPU 内存、GPU Direct Storage（GDS）和主机内存，以降低 I/O 延迟并提高吞吐量。评估表明，AIRES 在实际图形处理基准中显著优于最新方法，延迟降低最高可达 1.8 倍。