基于 FPGA 的 CNN 加速器上动态视觉传感器的集成用于高速视觉分类
计算机视觉与模式识别
2019-05-21 v1
摘要
深度学习是一种正被应用于许多领域的尖端理论。对于视觉应用，卷积神经网络 (CNN) 在分类任务上要求显著的准确性。近年来出现了大量硬件加速器以改进基于 CPU 或 GPU 的方案。该技术在被认为用于量产 ASIC 制造之前，通常在 FPGA 上进行原型设计和测试。商用典型相机 (30fps) 的使用限制了这些系统用于高速应用的能力。动态视觉传感器 (DVS) 模拟生物视网膜的行为，由于其特性，其中信息由连续的脉冲流表示，并且由 CNN 处理的帧通过收集固定数量的这些脉冲（称为事件）来构建，正日益重要地用于改进此类应用。物体越快，DVS 产生的事件越多，因此等效帧率越高。因此，这些 DVS 的利用允许以 CNN 加速器所能提供的最大速度计算帧。在本文中，我们提出了一种用于 FPGA 的流水线设计的 VHDL/HLS 描述，能够从地址-事件表示 (AER) DVS 视网膜收集事件以获得归一化直方图，供称为 NullHop 的特定 CNN 加速器使用。VHDL 用于描述电路，HLS 用于计算块，用于执行 CNN 所需的帧归一化。结果在延迟和功耗方面均优于先前使用在 Zynq7100 上以 800MHz 运行的 ARM 处理器进行帧收集与归一化的实现。对于以 160fps 峰值速率运行的 Roshambo CNN 实时实验，给出了 67% 的加速因子。
引用
@article{arxiv.1905.07419,
title = {Dynamic Vision Sensor integration on FPGA-based CNN accelerators for high-speed visual classification},
author = {Alejandro Linares-Barranco and Antonio Rios-Navarro and Ricardo Tapiador-Morales and Tobi Delbruck},
journal= {arXiv preprint arXiv:1905.07419},
year = {2019}
}
备注
7 pages