面向从表观到事件域的高效脉冲知识迁移的时间步混合方法
计算机视觉与模式识别
2025-11-26 v2
摘要
事件相机与脉冲神经网络的融合为高能效视觉处理带来了巨大希望。然而，事件数据的有限可用性以及 DVS 输出的稀疏特性给有效训练带来了挑战。尽管一些先前工作尝试将语义知识从 RGB 数据集迁移到 DVS，但它们常常忽略了两种模态之间显著的分布差距。在本文中，我们提出了时间步混合知识迁移（TMKT），这是一种新颖的细粒度混合策略，通过在各个时间步对 RGB 和 DVS 输入进行插值，利用 SNN 的异步特性。为了在跨模态场景中实现标签混合，我们进一步引入了模态感知的辅助学习目标。这些目标支持时间步混合过程，并增强了模型在不同模态间有效判别的能力。我们的方法实现了更平滑的知识迁移，缓解了训练期间的模态偏移，并在脉冲图像分类任务中取得了优越的性能。大量实验证明了我们的方法在多个数据集上的有效性。代码将在双盲评审过程后发布。
引用
@article{arxiv.2509.12959,
title = {Time-step Mixup for Efficient Spiking Knowledge Transfer from Appearance to Event Domain},
author = {Yuqi Xie and Shuhan Ye and Yi Yu and Chong Wang and Qixin Zhang and Jiazhen Xu and Le Shen and Yuanbin Qian and Jiangbo Qian and Guoqi Li},
journal= {arXiv preprint arXiv:2509.12959},
year = {2025}
}