面向 FPGA 上面向内存高效数据流推理加速的演化装箱方法

Mairin Kroes; Lucian Petrica; Sorin Cotofana; Michaela Blott

doi:10.1145/3377930.3389808

面向 FPGA 上面向内存高效数据流推理加速的演化装箱方法

分布式、并行与集群计算 2020-03-30 v1 神经与进化计算信号处理

作者: Mairin Kroes , Lucian Petrica , Sorin Cotofana , Michaela Blott

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

在 FPGA（现场可编程门阵列）中实现的卷积神经网络（CNN）数据流推理加速器相较 CPU 或 GPU 上的 CNN 执行已展现出更高的能效与更低的延迟。然而，CNN 参数存储器的复杂形状通常不能很好地映射到 FPGA 片上存储器（OCM），导致 OCM 利用率低下，并最终限制了可有效在 FPGA 上加速的 CNN 规模与类型。本工作中，我们提出一种提升 CNN 参数至 FPGA OCM 映射效率的设计方法。我们将该映射表述为装箱问题，并判定传统装箱算法并不适于在 FPGA 与 CNN 特定约束下求解该问题。我们将遗传算法与模拟退火同传统装箱启发式混合，以创建灵活的映射器，能够将参数存储器分组，使每组最优适配 FPGA 片上存储器。我们在多种 FPGA 推理加速器上评估这些算法。我们的混合映射器在所有 CNN 用例中数秒内收敛至最优解，对深层 CNN 实现高达 65% 的 OCM 利用率效率提升，且比当前最先进模拟退火方法快达 200 $\times$ 。

关键词

装箱 FPGA CNN 推理加速器片上存储器遗传算法模拟退火

引用

@article{arxiv.2003.12449,
  title  = {Evolutionary Bin Packing for Memory-Efficient Dataflow Inference Acceleration on FPGA},
  author = {Mairin Kroes and Lucian Petrica and Sorin Cotofana and Michaela Blott},
  journal= {arXiv preprint arXiv:2003.12449},
  year   = {2020}
}

备注

To appear in GECCO 2020 Proceedings

面向 FPGA 上面向内存高效数据流推理加速的演化装箱方法

摘要

关键词

引用

备注

相关论文