GraphACT：在 CPU-FPGA 异构平台上加速 GCN 训练
分布式、并行与集群计算
2020-01-09 v1 机器学习
摘要
图卷积网络（GCNs）已成为图上表示学习的最先进深度学习模型。由于（1）在图内传播信息所需的大量且不规则的数据通信，以及（2）沿神经网络层传播信息的密集计算，加速 GCN 的训练具有挑战性。为应对这些挑战，我们通过结合多种算法-架构协同优化，设计了一种在 CPU-FPGA 异构系统上训练 GCN 的新型加速器。我们首先分析各种 GCN 训练算法的计算与通信特征，并选择一种适于硬件执行的基于子图的算法。为优化子图内的特征传播，我们提出了一种基于图论方法的轻量级预处理步骤。在 CPU 上执行的此类预处理显著减少了 FPGA 上的内存访问需求与计算量。为加速 GCN 层中的权重更新，我们提出了一种基于 systolic array 的设计以实现高效并行化。我们将上述优化集成到完整的硬件流水线中，并通过精确的性能建模分析其负载均衡与资源利用率。我们在由 40 核 Xeon 服务器承载的 Xilinx Alveo U200 板上评估了我们的设计。在三个大图上，与多核平台上的最先进实现相比，我们以可忽略的精度损失实现了一个数量级的训练加速。
引用
@article{arxiv.2001.02498,
title = {GraphACT: Accelerating GCN Training on CPU-FPGA Heterogeneous Platforms},
author = {Hanqing Zeng and Viktor Prasanna},
journal= {arXiv preprint arXiv:2001.02498},
year = {2020}
}
备注
Published in ACM/SIGDA FPGA '20