面向科学应用的图神经网络算子级性能基准测试
机器学习
2022-07-21 v1 人工智能
硬件体系结构
性能
摘要
随着图神经网络（GNNs）在科学机器学习中日益流行，其训练与推理效率正变得愈发关键。此外，整个深度学习领域正趋向更宽更深的网络与不断增长的数据规模，以至于常遇到硬性硬件瓶颈。新兴专用硬件平台为这一问题提供了令人振奋的解决方案。本文中，我们系统剖析并选取了在 Pytorch Geometric 软件框架中实现的、与科学计算 GNN 相关的底层算子。随后在 NVIDIA A100 GPU 上对若干输入值组合（含张量稀疏性）严格进行基准测试。我们继而分析各算子的结果。总体上，我们得出结论：在 NVIDIA 系统上，（1）内存低效等混杂瓶颈常比单纯数据稀疏性更主导运行开销；（2）原生 Pytorch 算子常与其 Pytorch Geometric 对应算子相当或更具竞争力，尤其在低至中等输入数据稀疏度下；（3）许多最先进 GNN 架构的核心算子几乎未对稀疏性优化。我们希望这些结果可作为在专用硬件上开发这些算子的基线，且后续分析有助于促进这些算子的未来软件与硬件优化，从而整体提升可扩展 GNN 性能。
引用
@article{arxiv.2207.09955,
title = {Operation-Level Performance Benchmarking of Graph Neural Networks for Scientific Applications},
author = {Ryien Hosseini and Filippo Simini and Venkatram Vishwanath},
journal= {arXiv preprint arXiv:2207.09955},
year = {2022}
}
备注
Published as workshop paper at MLSys 2022 (MLBench)