GCV-Turbo：在 FPGA 上端到端加速基于 GNN 的计算机视觉任务
分布式、并行与集群计算
2024-04-11 v1 计算机视觉与模式识别
图像与视频处理
摘要
图神经网络（GNN）近期为各种新型计算机视觉（CV）任务赋能。在基于 GNN 的 CV 任务中，采用 CNN 层和 GNN 层的组合或仅采用 GNN 层。本文介绍了 GCV-Turbo，一种 FPGA 上的领域专用加速器，用于端到端加速基于 GNN 的 CV 任务。GCV-Turbo 包含两个关键组件：（1）一种新型硬件架构，使用同一组计算资源对 CNN 和 GNN 中的计算内核进行了优化。（2）一个与 PyTorch 兼容的编译器，它将用户定义的模型作为输入，对给定基于 GNN 的 CV 任务的计算图进行端到端优化，并生成用于硬件执行的优化代码。硬件架构和编译器协同工作以支持各种基于 GNN 的 CV 任务。我们在最先进的 FPGA 上实现了 GCV-Turbo，并在具有多种输入数据模态（例如，图像、人体骨架、点云）的六个代表性基于 GNN 的 CV 任务上评估了其性能。与最先进的 CPU（GPU）实现相比，GCV-Turbo 在这六个基于 GNN 的 CV 任务上实现了平均 （）的延迟降低。此外，GCV-Turbo 支持执行独立的 CNN 或 GNN，对于广泛使用的纯 CNN（纯 GNN）模型，实现了与最先进的 CNN（GNN）加速器相当的性能。
引用
@article{arxiv.2404.07188,
title = {GCV-Turbo: End-to-end Acceleration of GNN-based Computer Vision Tasks on FPGA},
author = {Bingyi Zhang and Rajgopal Kannan and Carl Busart and Viktor Prasanna},
journal= {arXiv preprint arXiv:2404.07188},
year = {2024}
}