SwinSF：从时空森 Spike 流进行图像重建
计算机视觉与模式识别
2025-08-05 v2 人工智能
摘要
Spike 摄像机凭借其高时间分辨率、低延迟和高动态范围，解决了运动模糊等高速成像挑战。它在每个像素上独立捕获光子，产生包含丰富时序信息的二进制 spike 流，但图像重建具有挑战。现有算法，无论是传统方法还是深度学习方法，仍需在充分利用丰富时序细节和恢复重建图像细节方面进行改进。为此，我们引入一种新型模型——Swin Spikeformer (SwinSF)，用于从 spike 流中重建动态场景。SwinSF 由 spike 特征提取、时空特征提取和最终重建模块三个部分组成。它结合了移位窗口自注意力机制和提出的时序 spike 注意力，确保对空间和时序动态的全面特征提取，从而实现对 spike 流更稳健、更准确的重建。此外，我们构建了一个新的合成数据集用于 spike 图像重建，该数据集匹配最新 spike 摄像机的分辨率，确保其与最新 spike 摄像机技术发展的相关性和适用性。实验结果表明，提出的网络 SwinSF 在包括实际数据和合成数据在内的一系列数据集上实现了最新水平的性能。我们的代码和提出的数据集将很快公开。
引用
@article{arxiv.2407.15708,
title = {SwinSF: Image Reconstruction from Spatial-Temporal Spike Streams},
author = {Liangyan Jiang and Chuang Zhu and Yanxu Chen},
journal= {arXiv preprint arXiv:2407.15708},
year = {2025}
}