基于时序解耦专家和分布驱动对比正则化的半监督视频去雪网络
计算机视觉与模式识别
2024-10-11 v1
摘要
雪降解为计算机视觉任务带来了巨大挑战，因其在户外场景中的不可取干扰。虽然当前基于深度学习的去雪方法在合成基准数据集上取得成功，但在缺乏配对真实世界雪视频训练数据的情况下，难以恢复超出分布的真实雪视频。为解决这一瓶颈，我们以半监督方式构建新的视频去雪范式，以包含未标记的真实数据以实现通用雪 removal。具体而言，我们构建了一个包含85个雪视频的真实世界数据集，然后提出了半监督视频去雪网络（SemiVDN），并配备了新颖的分布驱动对比正则化。该对比正则化缓解了合成数据与真实数据之间的分布差距，从而保持所需的雪不变背景细节。此外，基于大气散射模型，我们引入了先验引导的时序解耦专家模块，以帧相关的方式分解组成雪视频的物理成分。我们在基准数据集和收集的真实雪数据上评估了SemiVDN。实验结果表明，我们的方法在图像和视频级别的去雪方法方面优于现有方法。
引用
@article{arxiv.2410.07901,
title = {Semi-Supervised Video Desnowing Network via Temporal Decoupling Experts and Distribution-Driven Contrastive Regularization},
author = {Hongtao Wu and Yijun Yang and Angelica I Aviles-Rivero and Jingjing Ren and Sixiang Chen and Haoyu Chen and Lei Zhu},
journal= {arXiv preprint arXiv:2410.07901},
year = {2024}
}