面向真实世界视频去雨的动态堆叠滤波半监督状态空间模型

过去十年，在深度学习进步的推动下，雨天条件下的视频复原取得了显著进展。然而，现有依赖配对数据的方法难以有效泛化到真实世界场景，这主要是由于合成雨纹与真实雨纹之间的差异。为解决这些局限性，我们提出了一种双分支时空状态空间模型，以增强视频序列中的雨纹去除。具体而言，我们设计了空间状态空间模型层和时间状态空间模型层，分别用于提取空间特征和融合跨帧的时间依赖性。为改进多帧特征融合，我们推导出一种动态堆叠滤波器，该滤波器能自适应地逼近统计滤波器，以实现更优的逐像素特征细化。此外，我们开发了一种中值堆叠损失，通过基于雨的稀疏先验生成伪干净图像块，从而实现半监督学习。为进一步探索去雨模型在雨天环境中支持其他视觉任务的能力，我们引入了一个专注于雨天条件下目标检测与跟踪的新型真实世界基准。我们的方法在包含大量合成和真实世界雨天视频的多个基准上进行了广泛评估，在定量指标、视觉质量、效率及其对下游任务的实用性方面，始终展现出其优越性。