基于眼动与低延迟脉冲神经网络的高效视觉搜索
神经与进化计算
2023-10-11 v1 计算机视觉与模式识别
神经元与认知
摘要
人类视觉结合了非均匀分辨率视网膜、高效的眼动策略和脉冲神经网络（SNN），以平衡视野大小、视觉分辨率、能量成本和推理延迟方面的需求。这些特性激发了开发类人计算机视觉的兴趣。然而，现有模型尚未充分结合人类视觉的这三个特征，且其习得的眼动策略未与人类的策略进行比较，使得模型行为难以解释。在此，我们开展实验考察人类视觉搜索行为，并建立首个基于SNN的视觉搜索模型。该模型结合了人工视网膜与脉冲特征提取、记忆和扫视决策模块，并采用群体编码实现快速高效的扫视决策。模型可学习类人或近最优的注视策略，在搜索速度和准确率上超越人类，并通过短扫视决策延迟和稀疏激活实现高能量效率。它还表明，人类的搜索策略在搜索速度方面是次优的。我们的工作连接了神经科学中的视觉建模与机器学习，并为开发更高能效的计算机视觉算法提供了启示。
引用
@article{arxiv.2310.06578,
title = {Energy-Efficient Visual Search by Eye Movement and Low-Latency Spiking Neural Network},
author = {Yunhui Zhou and Dongqi Han and Yuguo Yu},
journal= {arXiv preprint arXiv:2310.06578},
year = {2023}
}