面向监控应用的低功耗端到端混合神经形态框架

随着深度学习的成功，可部署于真实世界应用的物体识别系统正变得普遍。然而，主要在“边缘”（而非服务器端处理）进行的推理是计算与内存高度密集的工作负载，使其对低功耗移动节点与远程安防应用而言难以承受。为应对该挑战，本文提出一种低功耗（5W）端到端神经形态框架，利用具备低功耗（5-14 mW）和高动态范围（120 dB）等优良特性的基于事件的相机进行物体跟踪与分类。尽管如此，不同于传统的逐事件处理方式，本工作采用帧与事件混合方法，以在高性能下获得节能效果。利用基于前景事件密度的帧式区域提议方法，借助表观物体速度实现硬件友好的物体跟踪，并处理遮挡场景。对于跟踪物体的低功耗分类，事件相机连接至 IBM TrueNorth，其通过时间复用应对交通监控应用中多达八个实例。基于帧的物体跟踪输入经节能深度网络（EEDN）流水线转换回脉冲以供 TrueNorth 分类。利用原始采集的数据集，我们在硬件跟踪输出而非常用的真实物体位置上训练 TrueNorth 模型，并展示系统处理实际监控场景的有效性。最后，我们将所提方法与最先进的基于事件的物体跟踪与分类系统比较，展示了我们的神经形态方法在不牺牲性能前提下的低功耗应用用例。