通过视点变换与时空拉伸训练鲁棒脉冲神经网络
计算机视觉与模式识别
2023-03-15 v1
摘要
神经形态视觉传感器（事件相机）模拟生物视觉感知系统，具有时间分辨率高、数据冗余少、功耗低、动态范围大等优势。由于事件与脉冲均建模自神经信号，事件相机天然适用于脉冲神经网络（SNNs），其被视为人工智能（AI）与理论神经科学中有前景的模型。然而，这些相机的非传统视觉信号对脉冲神经网络的鲁棒性提出了巨大挑战。本文提出一种新颖的数据增强方法——视点变换与时空拉伸（VPT-STS）。它通过在时空域中变换旋转中心与角度以生成不同视点的样本，从而提升SNNs的鲁棒性。此外，我们引入时空拉伸以避免视点变换中的潜在信息丢失。在主流神经形态数据集上的大量实验表明，VPT-STS在多事件表示上广泛有效，并显著优于纯空间几何变换。值得注意的是，采用VPT-STS的SNNs模型在DVS-CIFAR10数据集上取得了84.4%的SOTA准确率。
引用
@article{arxiv.2303.07609,
title = {Training Robust Spiking Neural Networks with ViewPoint Transform and SpatioTemporal Stretching},
author = {Haibo Shen and Juyu Xiao and Yihao Luo and Xiang Cao and Liangqi Zhang and Tianjiang Wang},
journal= {arXiv preprint arXiv:2303.07609},
year = {2023}
}
备注
Accepted by ICASSP 2023. arXiv admin note: text overlap with arXiv:2207.11659