DPUV3INT8:从编译器视角看可编程 FPGA 推理引擎
计算与语言
2021-10-12 v1
摘要
我们有一个 FPGA 设计,我们使其快速、高效,并针对几个重要示例进行了测试。现在我们必须推导出一个可部署在数据中心的一般性解决方案。在此,我们描述 FPGA DPUV3INT8 设计以及我们的编译器工作。针对 Resnet50_v1 的手工调优软硬件协同方案比我们最佳的 FPGA 实现具有(接近)2 倍更好的每秒图像数(吞吐量);该编译器推广了手写技术,对同一示例实现了约 1.5 倍的性能提升,并将优化推广到一个模型库中的网络,达到了 80+% 的硬件效率。
引用
@article{arxiv.2110.04327,
title = {DPUV3INT8: A Compiler View to programmable FPGA Inference Engines},
author = {Paolo D'Alberto and Jiangsha Ma and Jintao Li and Yiming Hu and Manasa Bollavaram and Shaoxia Fang},
journal= {arXiv preprint arXiv:2110.04327},
year = {2021}
}
备注
11 pages