SpikeCLR：基于脉冲神经网络的少样本事件型视觉自监督学习
计算机视觉与模式识别
2026-03-18 v1
摘要
事件型视觉传感器在高速感知方面具有显著优势，包括微秒级时间分辨率、高动态范围和低功耗。将其与脉冲神经网络 (SNN) 结合后，可部署在神经形态硬件上，实现嵌入式系统的能效应用。然而，这一潜力受限于稀缺的大规模标注数据集以有效训练此类模型。本文引入 SpikeCLR，一种自监督学习框架，使 SNN 能从无标签事件数据中学习鲁棒的视觉表征。我们采用替代帧式方法于脉冲域内，使用替代梯度训练，并引入一套利用空间、时间和极性变换的事件特定数据增强。通过在 CIFAR10-DVS、N-Caltech101、N-MNIST 和 DVS-Gesture 等基准上进行大量实验，我们展示了自监督预训练后再微调优于监督学习，在少样本和半监督设置中实现一致的性能提升。我们的消融研究表明，组合空间和时间数据增强对于学习事件数据中的有效时空不变性至关重要。我们进一步表明所学表征可跨数据集迁移，为标签稀缺环境中强大事件型模型的发展贡献了力量。
引用
@article{arxiv.2603.16338,
title = {SpikeCLR: Contrastive Self-Supervised Learning for Few-Shot Event-Based Vision using Spiking Neural Networks},
author = {Maxime Vaillant and Axel Carlier and Lai Xing Ng and Christophe Hurter and Benoit R. Cottereau},
journal= {arXiv preprint arXiv:2603.16338},
year = {2026}
}
备注
17 pages, 4 figures