基于神经形态原对象的动态视觉显著性模型及其FPGA实现

注意视觉场景显著区域的能力是执行高层视觉任务（例如目标检测、跟踪和分类）的生物与工程系统所固有的必要预处理步骤。通过仅将计算资源分配给视觉刺激的显著区域，在处理带宽和速度方面的计算效率得以提升。在本文中，我们首先提出一种基于原对象概念的神经形态、自下而上的动态视觉显著性模型。这是通过将视觉刺激的时间特征纳入模型中实现的，类似于人类视觉系统早期阶段提取时间信息的方式。该神经形态模型在预测常用视频数据集上的人眼注视点（含眼动追踪数据）方面优于最先进的动态视觉显著性模型。其次，为使该模型具有实际应用，必须能够在低功耗、小尺寸和轻量约束下实时执行计算。为此，我们在Opal Kelly 7350 Kintex-7板上引入了该模型的现场可编程门阵列（FPGA）实现。这一新颖的硬件实现允许在100 MHz时钟下处理高达每秒23.35帧，比软件实现加速超过26倍。