NeuroCLIP：基于 CLIP 与 SNN 的脉冲数据理解
计算机视觉与模式识别
2024-01-01 v2
摘要
近年来，神经形态视觉传感器受到越来越多的关注。然而，神经形态数据由异步事件脉冲组成，这使得难以构建大规模基准来训练一个强大的通用神经网络模型，从而限制了通过深度学习对“未见”物体进行神经形态数据理解。而对于帧图像，由于训练数据易于获取，通过大规模图像-文本对二维预训练的大型对比视觉-语言预训练（CLIP）模型，在“未见”任务的零样本与少样本学习上已展现出令人鼓舞的性能。我们探究 CLIP 是否可迁移至神经形态数据识别以处理“未见”问题。为此，本文以 NeuroCLIP 实现了该想法。NeuroCLIP 由 2D CLIP 与两个专为神经形态数据理解设计的模块构成。首先，一个事件-帧模块可将事件脉冲以简单判别策略转换为序列帧图像。其次，一个时间步间适配器，它是基于脉冲神经网络（SNN）对来自 CLIP 视觉编码器的序列特征进行简单微调的适配器，用以提升少样本性能。在包括 N-MNIST、CIFAR10-DVS 与 ES-ImageNet 的神经形态数据集上的多种实验证明了 NeuroCLIP 的有效性。我们的代码开源于 https://github.com/yfguo91/NeuroCLIP.git。
引用
@article{arxiv.2306.12073,
title = {NeuroCLIP: Neuromorphic Data Understanding by CLIP and SNN},
author = {Yufei Guo and Yuanpei Chen and Zhe Ma},
journal= {arXiv preprint arXiv:2306.12073},
year = {2024}
}