基于动态雨生成器的半监督视频去雨方法

尽管基于深度学习（DL）的视频去雨方法近来已取得显著成功，它们仍存在两个主要缺陷。首先，多数方法未充分建模雨视频中雨层的特点。事实上，雨层在空间维度上表现出强烈的物理属性（如方向、尺度与厚度），在时间维度上具有自然连续性，因而通常可由统计中的时空过程建模。其次，当前基于 DL 的方法严重依赖带标签的合成训练数据，其雨类型常与无标签真实数据中的雨类型偏离。这种合成与真实数据集间的鸿沟导致其在真实场景中应用性能不佳。针对这些问题，本文提出一种新的半监督视频去雨方法，其中采用动态雨生成器来拟合雨层，以期更好地刻画其内在特征。具体而言，该动态生成器由一个发射模型与一个转移模型组成，分别编码雨纹的空间物理结构与时间连续变化，二者均被参数化为深度神经网络（DNNs）。此外，针对带标签合成数据与无标签真实数据设计了不同的先验形式，以充分挖掘其背后共性知识。最后，我们还设计了蒙特卡洛 EM 算法来求解该模型。大量实验验证了所提半监督去雨模型的优越性。