通过 GPU 上执行路径预备加速 GCN 训练中的反向聚合
机器学习
2022-10-11 v2
摘要
新兴的图卷积网络（GCN）现已广泛应用于诸多领域，而通过加速 GCN 训练来提升应用效率颇具挑战性。鉴于真实世界输入图的稀疏本质与规模爆炸，最先进的 GCN 训练系统（如 GNNAdvisor）采用图处理技术来加速图顶点间的消息交换（即聚合）。然而，这些系统将前向与反向传播阶段的聚合均视为全活跃图处理过程，对输入图的所有顶点无差别地进行计算。本文首先指出，在给定训练集的 GCN 训练问题中，其反向传播阶段的聚合阶段（本文称为反向聚合）可转化为部分活跃图处理过程，仅对输入图的部分顶点进行计算。利用该发现，我们提出一种执行路径预备方法，收集并合并 GCN 训练在 GPU 上反向传播中所使用的数据。实验结果表明，与 GNNAdvisor 相比，我们的方法在典型真实世界图上将 GCN 训练的反向聚合性能提升了 1.48x~5.65x。此外，执行路径预备既可在训练前（预处理期间）进行，也可随训练在线进行。当在预处理期间使用时，我们的方法将整体 GCN 训练提升了 1.05x~1.37x；当在线使用时，将整体 GCN 训练提升了 1.03x~1.35x。
引用
@article{arxiv.2204.02662,
title = {Accelerating Backward Aggregation in GCN Training with Execution Path Preparing on GPUs},
author = {Shaoxian Xu and Zhiyuan Shao and Ci Yang and Xiaofei Liao and Hai Jin},
journal= {arXiv preprint arXiv:2204.02662},
year = {2022}
}