基于时空碎片在神经形态数据上训练鲁棒脉冲神经网络
计算机视觉与模式识别
2023-03-15 v3 机器学习
图像与视频处理
摘要
神经形态视觉传感器（事件相机）天然适用于脉冲神经网络（SNNs），并为这一仿生模型提供了新的神经形态视觉数据。由于其时空特性，需要处理这些相机非常规视觉信号的新颖数据增强方法。本文中，我们提出了一种新颖的事件时空碎片（ESTF）增强方法。它通过漂移或反转时空事件流的片段来模拟亮度变化的扰动，从而保持神经形态数据的连续性，进而得到更鲁棒的脉冲神经网络。我们在主流神经形态数据集上进行了大量实验。结果表明，ESTF 相较纯几何变换有显著提升，并优于其他事件数据增强方法。值得注意的是，采用 ESTF 的 SNNs 在 CIFAR10-DVS 数据集上达到了 83.9% 的最先进准确率。
引用
@article{arxiv.2207.11659,
title = {Training Robust Spiking Neural Networks on Neuromorphic Data with Spatiotemporal Fragments},
author = {Haibo Shen and Yihao Luo and Xiang Cao and Liangqi Zhang and Juyu Xiao and Tianjiang Wang},
journal= {arXiv preprint arXiv:2207.11659},
year = {2023}
}
备注
Accepted by ICASSP 2023