GraphLeap：解耦图构建与卷积以实现面向FPGA的视觉GNN加速

视觉图神经网络（ViGs）将图像表示为补丁token的图，使其能够实现自适应、基于特征的邻域。与具有固定网格偏置的CNN或具有全局token相互作用的视觉Transformer不同，ViGs依赖于动态图卷积：在每一层，依据当前补丁特征通过k近邻（kNN）搜索构建特征依赖的图，然后进行消息传递。这种每层图构建是主要瓶颈，在CPU和GPU上占图卷积时间的50--95%，随补丁数量N的平方增长（$O(N^2)$），并在图构建和特征更新之间创建顺序依赖。我们提出GraphLeap，一种简单改造方案，通过在层之间解耦图构建与特征更新来消除此依赖。GraphLeap在层$\ell$使用前一层的特征构建图进行特征更新，同时使用当前层的特征构建用于层$\ell+1$的图。这种一种层的前瞻图构建使图构建与消息传递能够并行进行。虽然使用前层特征可能引入轻微的精度下降，但仅需数个epoch的轻量级微调即可恢复原始精度。基于GraphLeap，我们提出了首个面向Vision GNNs的端到FPGA加速器。我们的流式、层级流水线设计重叠kNN图构建引擎与特征更新引擎，利用节点级和通道级并行性，实现无需显式边缘特征存储即可的高效片上数据流。评估在Alveo U280 FPGA上进行，对各向同性和金字塔ViG模型测试，GraphLeap在CPU上实现最高达$95.7\times$的加速，在GPU基准上实现$8.5\times$的加速，证明了实时Vision GNN推理的可行性。