SpikeDerain：利用彩色脉冲流从雨序列中揭示清晰视频
计算机视觉与模式识别
2025-03-27 v1
摘要
从雨视频中恢复清晰帧是一个重大挑战，因为雨条纹运动迅速。传统的基于帧的视觉传感器同步捕捉场景内容，难以准确捕捉雨的快速运动细节。近年来，神经形态传感器引入了动态场景感知的新范式，提供微秒级时间分辨率和高动态范围。然而，现有的融合事件流与RGB图像的多模态方法在处理真实场景中雨滴复杂的时空干扰时面临困难，主要原因是硬件同步误差和计算冗余。在本文中，我们提出了一种彩色脉冲流去雨网络（SpikeDerain），能够重建动态场景的脉冲流并准确去除雨条纹。为了解决真实连续降雨场景中数据稀缺的挑战，我们设计了一个物理可解释的雨条纹合成模型，该模型基于任意背景图像生成参数化的连续雨模式。实验结果表明，使用这种合成数据训练的网络即使在极端降雨条件下也保持高度鲁棒性。这些发现突显了我们的方法在不同降雨强度和数据集上的有效性和鲁棒性，为视频去雨任务设立了新标准。代码将很快发布。
引用
@article{arxiv.2503.20315,
title = {SpikeDerain: Unveiling Clear Videos from Rainy Sequences Using Color Spike Streams},
author = {Hanwen Liang and Xian Zhong and Wenxuan Liu and Yajing Zheng and Wenxin Huang and Zhaofei Yu and Tiejun Huang},
journal= {arXiv preprint arXiv:2503.20315},
year = {2025}
}