Event USKT：面向事件相机的 U 型状态空间模型知识传递
计算机视觉与模式识别
2024-11-26 v1 人工智能
摘要
事件相机作为一种新兴的成像技术，相较于传统 RGB 相机具有能耗更低、帧率更高等显著优势。然而，可用事件数据的数量有限，成为其更广泛发展的主要挑战。为缓解此问题，我们提出了针对 Event-to-RGB 知识传递的定制化 U 型状态空间模型知识传递（USKT）框架。该框架生成与 RGB 帧兼容的输入，使事件数据能够有效复用预训练的 RGB 模型，并通过最小参数调优实现与之相当的性能。在 USKT 架构中，我们还提出了双向逆状态空间模型（BiR-SSM）。与常规双向扫描机制不同，所提 BiR-SSM 利用共享权重策略，实现高效建模的同时节省计算资源。就有效性而言，将 USKT 与 ResNet50 作为 backbone 集成后，在 DVS128 Gesture、N-Caltech101 和 CIFAR-10-DVS 数据集上分别提升了 0.95%、3.57% 和 2.9%，凸显了 USKT 的适应性和有效性。代码将在接受后公开。
引用
@article{arxiv.2411.15276,
title = {Event USKT : U-State Space Model in Knowledge Transfer for Event Cameras},
author = {Yuhui Lin and Jiahao Zhang and Siyuan Li and Jimin Xiao and Ding Xu and Wenjun Wu and Jiaxuan Lu},
journal= {arXiv preprint arXiv:2411.15276},
year = {2024}
}