Dynasparse：通过动态稀疏性利用加速GNN推理
分布式、并行与集群计算
2023-03-24 v1 硬件体系结构
摘要
图神经网络（GNN）推理被用于许多现实应用。GNN推理中的数据稀疏性，包括输入图与GNN模型中的稀疏性，为进一步加速推理提供了机会。此外，已提出许多剪枝技术用于模型压缩，增加了GNN的数据稀疏性。我们提出 Dynasparse，一种在 FPGA 上通过动态稀疏性利用加速 GNN 推理的软硬件协同设计。为此，我们将 GNN 计算核与基本计算原语解耦，并如下探索软硬件协同设计：1）硬件设计：我们提出一种 FPGA 上新颖的统一加速器设计，以高效执行各类计算原语。我们开发了与加速器紧密耦合的定制软处理器来运行运行时系统。此外，我们开发了高效的硬件机制以分析数据稀疏性并执行即时数据格式转换，为各类计算原语准备输入数据；2）软件设计：我们开发了与加速器协同工作的运行时系统，基于数据稀疏性执行动态核到原语映射。我们在最先进 FPGA 平台 Xilinx Alveo U250 上实现 Dynasparse，并使用广泛使用的 GNN 模型（GCN、GraphSAGE、GIN 和 SGC）评估设计。对上述 GNN 模型与各类输入图，所提加速器与动态核到原语映射相比最先进 GNN 加速器中采用的静态映射策略平均将推理延迟降低了 3.73×。相比最先进 CPU（GPU）实现，Dynasparse 在端到端延迟上实现了最高 56.9×（2.37×）加速。
引用
@article{arxiv.2303.12901,
title = {Dynasparse: Accelerating GNN Inference through Dynamic Sparsity Exploitation},
author = {Bingyi Zhang and Viktor Prasanna},
journal= {arXiv preprint arXiv:2303.12901},
year = {2023}
}