突破多模态壁垒：基于时间步Mixup的从静态到事件域的脉冲知识迁移
计算机视觉与模式识别
2025-11-18 v1
摘要
事件相机与脉冲神经网络（SNN）的集成为节能视觉智能提供了可能，但稀缺的事件数据和DVS输出的稀疏性阻碍了有效训练。先前的RGB到DVS知识迁移方法常因模态间分布差距较大而表现不佳。本文提出了时间步Mixup知识迁移（TMKT），一种基于概率时间步Mixup（TSM）策略的跨模态训练框架。TSM利用SNN的非同步特性，在多个时间步上对RGB和DVS输入进行插值，以在每个序列内产生平滑的课程学习，从而降低梯度方差并实现优化稳定。为充分利用TSM带来的辅助监督，TMKT引入两种轻量级模态感知目标：用于逐帧源监督的模态感知引导（MAG）和用于序列级混合比例估计的混合比例感知（MRP），这些目标显式地按照混合计划对齐时间特征。TMKT实现了更顺畅的知识迁移，帮助在训练期间减轻模态不匹配，并在脉冲图像分类任务中取得优异性能。广泛的实验在多个基准数据集和多种SNN网络架构上进行，包括消融实验，充分证明了本方法的有效性。
引用
@article{arxiv.2511.12150,
title = {Breaking the Modality Wall: Time-step Mixup for Efficient Spiking Knowledge Transfer from Static to Event Domain},
author = {Yuqi Xie and Shuhan Ye and Yi Yu and Chong Wang and Qixin Zhang and Jiazhen Xu and Le Shen and Yuanbin Qian and Jiangbo Qian and Guoqi Li},
journal= {arXiv preprint arXiv:2511.12150},
year = {2025}
}