HPIPE：面向 FPGA 的异构层流水与稀疏感知 CNN 推理
硬件体系结构
2020-07-22 v1
摘要
我们提出一种新颖的卷积神经网络（CNN）加速器架构及用于 FPGA 的网络编译器，其性能优于所有先前工作。我们的网络编译器静态划分可用器件资源并为 CNN 每一层构建定制硬件，而非采用共同逐层处理一个层的通用处理单元。通过为每层构建硬件，我们能将控制器打包进更少查找表并使用专用布线。这些效率使我们的加速器能利用 2 倍于先前工作的 DSP 并以超其 2 倍频率运行于 FPGA 稀疏 CNN 加速。我们在 Stratix 10 2800 FPGA 上评估架构于稀疏 Resnet-50 与稠密 MobileNet Imagenet 分类器的性能。我们发现稀疏 Resnet-50 模型在批大小为 1 时吞吐量为 4550 图像/秒，近乎 NVIDIA 最快机器学习定向 GPU（V100）的 4 倍吞吐量，且优于 FPGA 上所有先前工作。
引用
@article{arxiv.2007.10451,
title = {HPIPE: Heterogeneous Layer-Pipelined and Sparse-Aware CNN Inference for FPGAs},
author = {Mathew Hall and Vaughn Betz},
journal= {arXiv preprint arXiv:2007.10451},
year = {2020}
}
备注
8 Pages, 11 Figures