NN2CAM：面向 FPGA 相机上多精度边缘处理的自动化神经网络映射
图像与视频处理
2021-06-25 v1
摘要
深度神经网络（DNNs）在图像分类与检测任务中取得的破纪录成就，在过去几年中引发了大量新型计算机视觉应用的涌现。然而，其计算复杂性限制了它们向强大的固定式或复杂专用处理硬件的部署，制约了其在智能边缘处理应用中的使用。我们提出了一种用于基于现场可编程门阵列（FPGA）的相机上边缘 DNN 加速的自动化部署框架。该框架自动将任意规模且量化的已训练网络转换为高效的流处理 IP 模块，并在 FPGA 的通用适配块中实例化。与已有工作不同，该加速器为纯逻辑实现，因此支持在无片上微处理器的 FPGA 上实现端到端处理。我们的映射工具具备从已训练 Caffe 网络的自动转换、权重与激活的任意逐层定点精度、面向全二值层的高效 XNOR 实现，以及用于流数据流中计算资源有效分配的平衡机制。为展示系统性能，我们利用该工具在基于 FPGA 的高速相机上以多种精度设置实现了两个 CNN 边缘处理网络，在低速延迟流模式（无批处理）下展现出高达 337GOPS 的计算吞吐量，且完全在相机上运行。
引用
@article{arxiv.2106.12840,
title = {NN2CAM: Automated Neural Network Mapping for Multi-Precision Edge Processing on FPGA-Based Cameras},
author = {Petar Jokic and Stephane Emery and Luca Benini},
journal= {arXiv preprint arXiv:2106.12840},
year = {2021}
}