通用光照下的循环脉冲图像复原
计算机视觉与模式识别
2023-08-08 v1 图像与视频处理
摘要
脉冲相机是一种新型仿生视觉传感器，以高时间分辨率（20,000 Hz）的脉冲阵列形式记录光强。这一新视觉传感器范式为诸多视觉任务（如高速图像重建）提供了显著优势。然而，现有基于脉冲的方法通常假设场景具有充足光强，而这在许多真实场景（如雨天或黄昏）中往往无法满足。为解锁更多基于脉冲的应用场景，我们提出循环脉冲图像复原（RSIR）网络，这是首个从通用光照下脉冲阵列中复原清晰图像的工作。具体而言，为准确描述不同光照下的噪声分布，我们根据脉冲相机的采样过程构建了基于物理的脉冲噪声模型。基于该噪声模型，我们设计了由自适应脉冲变换模块、循环时间特征融合模块和基于频率的脉冲去噪模块组成的 RSIR 网络。我们的 RSIR 能以递归方式处理脉冲阵列，确保脉冲时间信息被充分利用。在训练过程中，我们基于噪声模型生成模拟脉冲数据以训练网络。在不同光照真实世界数据集上的大量实验证明了所提网络的有效性。代码与数据集发布于 https://github.com/BIT-Vision/RSIR。
引用
@article{arxiv.2308.03018,
title = {Recurrent Spike-based Image Restoration under General Illumination},
author = {Lin Zhu and Yunlong Zheng and Mengyue Geng and Lizhi Wang and Hua Huang},
journal= {arXiv preprint arXiv:2308.03018},
year = {2023}
}
备注
Accepted by ACM MM 2023