基于可训练事件驱动卷积和脉冲注意力机制的动态视觉传感器目标识别模型
计算机视觉与模式识别
2024-09-20 v1
摘要
脉冲神经网络（SNNs）因其稀疏的脉冲基编码和异步事件驱动计算，特别适合处理动态视觉传感器（DVS）生成的事件流。为从DVS目标中提取特征，SNNs通常使用固定核参数的事件驱动卷积。这些滤波器对特定方向的特征反应强烈，而忽略其他方向，导致特征提取不完整。为提高当前事件驱动卷积的特征提取能力，本文提出了一种利用可训练事件驱动卷积和脉冲注意力机制的DVS目标识别模型。可训练事件驱动卷积通过梯度下降更新其卷积核，可比传统事件驱动卷积更高效地提取事件流的局部特征。此外，脉冲注意力机制用于提取全局依赖特征。我们的方法在两个神形态学数据集（包括MNIST-DVS和更复杂的CIFAR10-DVS）上的分类性能优于基线方法。此外，我们的模型对短事件流表现出良好的分类能力。表明我们的模型可提高事件驱动卷积SNNs在DVS对象上的性能。
引用
@article{arxiv.2409.12691,
title = {A dynamic vision sensor object recognition model based on trainable event-driven convolution and spiking attention mechanism},
author = {Peng Zheng and Qian Zhou},
journal= {arXiv preprint arXiv:2409.12691},
year = {2024}
}
备注
14 pages, 2 figures