中文

DPUV3INT8:从编译器视角看可编程 FPGA 推理引擎

计算与语言 2021-10-12 v1

摘要

我们有一个 FPGA 设计,我们使其快速、高效,并针对几个重要示例进行了测试。现在我们必须推导出一个可部署在数据中心的一般性解决方案。在此,我们描述 FPGA DPUV3INT8 设计以及我们的编译器工作。针对 Resnet50_v1 的手工调优软硬件协同方案比我们最佳的 FPGA 实现具有(接近)2 倍更好的每秒图像数(吞吐量);该编译器推广了手写技术,对同一示例实现了约 1.5 倍的性能提升,并将优化推广到一个模型库中的网络,达到了 80+% 的硬件效率。

关键词

引用

@article{arxiv.2110.04327,
  title  = {DPUV3INT8: A Compiler View to programmable FPGA Inference Engines},
  author = {Paolo D'Alberto and Jiangsha Ma and Jintao Li and Yiming Hu and Manasa Bollavaram and Shaoxia Fang},
  journal= {arXiv preprint arXiv:2110.04327},
  year   = {2021}
}

备注

11 pages