基于脉冲神经网络的自适应事件流切片器
计算机视觉与模式识别
2025-03-25 v3 神经与进化计算
摘要
基于事件的相机因提供丰富的边缘信息、高动态范围和高时间分辨率而受到广泛关注。许多最先进的基于事件的算法依赖于将事件划分为固定组，导致在处理多样化运动场景时（例如，高/低速度）忽略至关重要的时序信息。本文提出SpikeSlicer，一种新型设计的即插即用事件处理方法，能够自适应地分割事件流。SpikeSlicer利用低能耗脉冲神经网络（SNN）触发事件切片。为引导SNN在最优时间步发放脉冲，我们提出了基于脉冲位置的损失函数（SPA-Loss）以调节神经元状态。此外，我们开发了反馈-更新训练策略，该策略利用来自下游人工神经网络（ANN）的反馈来细化切片决策。大量实验表明，我们的方法在基于事件的对象跟踪和识别方面显著提升了性能。值得注意的是，SpikeSlicer提供了一种全新的SNN-ANN协作范式，SNN作为高效低能的数据处理器协助ANN提升下游性能，注入新的视角和潜在的探索 avenue。我们的代码已公开于https://github.com/AndyCao1125/SpikeSlicer。
引用
@article{arxiv.2410.02249,
title = {Spiking Neural Network as Adaptive Event Stream Slicer},
author = {Jiahang Cao and Mingyuan Sun and Ziqing Wang and Hao Cheng and Qiang Zhang and Shibo Zhou and Renjing Xu},
journal= {arXiv preprint arXiv:2410.02249},
year = {2025}
}
备注
Accepted to NeurIPS 2024