将自动调谐带到 HIP：AMD 与 Nvidia GPU 调谐影响与难度分析

Milo Lurati; Stijn Heldens; Alessio Sclocco; Ben van Werkhoven

将自动调谐带到 HIP：AMD 与 Nvidia GPU 调谐影响与难度分析

分布式、并行与集群计算 2024-07-17 v1 性能

作者: Milo Lurati , Stijn Heldens , Alessio Sclocco , Ben van Werkhoven

摘要

许多研究聚焦于为 Nvidia 图形处理单元（GPU）开发和改进自动调谐算法，但这些方法在 AMD 设备上的有效性和效率几乎未受到研究。本文旨在弥补这一差距，通过为 AMD 的 HIP 引入自动调谐器。我们通过扩展一个开源的 Python 库 Kernel Tuner 来实现这一目标，用于自动调谐 GPU 程序。我们在四个高度可调基准内核上，对四个不同的 GPU（两个来自 Nvidia，两个来自 AMD）进行分析。我们的结果表明，自动调谐对 AMD 性能的影响显著高于 Nvidia（10 倍 vs 2 倍）。此外，我们展示了针对 Nvidia 调谐的应用程序在 AMD 上并不表现最佳，凸显了为 AMD 专门进行自动调谐以在这些 GPU 上实现高性能的重要性。

关键词

自动调谐 HIP GPU 性能 AMD GPU Nvidia GPU Kernel Tuner

引用

@article{arxiv.2407.11488,
  title  = {Bringing Auto-tuning to HIP: Analysis of Tuning Impact and Difficulty on AMD and Nvidia GPUs},
  author = {Milo Lurati and Stijn Heldens and Alessio Sclocco and Ben van Werkhoven},
  journal= {arXiv preprint arXiv:2407.11488},
  year   = {2024}
}

备注

30th International European Conference on Parallel and Distributed Computing (Euro-PAR 2024) (Best Paper Candidates Session)

将自动调谐带到 HIP：AMD 与 Nvidia GPU 调谐影响与难度分析

摘要

关键词

引用

备注

相关论文