用于光流估计的分层脉冲神经网络无监督学习：从事件到全局运动感知
计算机视觉与模式识别
2019-03-29 v2
摘要
脉冲神经网络与基于事件的视觉传感器的结合具有实现高效、高带宽光流估计的潜力。本文提出了首个分层脉冲架构，其中运动（方向与速度）选择性以无监督方式从基于事件的相机生成的原始刺激中涌现。一种新颖的自适应神经元模型和稳定的脉冲时序依赖可塑性公式分别是该神经网络的核心，分别控制其基于脉冲的处理与学习。收敛后，该神经架构展现出生物视觉运动系统的主要特性，即特征提取以及局部与全局运动感知。分别采用具有单传输延迟和多传输延迟输入突触的卷积层进行特征和局部运动感知；而全局运动选择性在最终的 fully-connected 层中涌现。所提出的方案使用合成与真实事件序列进行了验证。随本文我们提供了 cuSNN 库，一个支持 GPU 加速大规模脉冲神经网络仿真的框架。源代码与样例可在 https://github.com/tudelft/cuSNN 获取。
引用
@article{arxiv.1807.10936,
title = {Unsupervised Learning of a Hierarchical Spiking Neural Network for Optical Flow Estimation: From Events to Global Motion Perception},
author = {Federico Paredes-Vallés and Kirk Y. W. Scheper and Guido C. H. E. de Croon},
journal= {arXiv preprint arXiv:1807.10936},
year = {2019}
}
备注
14 pages, 14 figures