基于 Inception-Unet 的端到端生成对抗网络用于雪和雨的去除
计算机视觉与模式识别
2024-11-08 v1 图像与视频处理
摘要
深度学习方法在从单幅图像中去除大气粒子（如雪和雨）方面展现出的优越性能，使其优于经典方法。然而，基于深度学习的方法仍然面临与粒子外观特征（如尺寸、类型和透明度）相关的挑战。此外，由于雨和雪粒子的独特特性，单网络深度学习方法难以同时处理两种退化场景。本文提出了一个全局框架，由两个生成对抗网络（GAN）组成，每个分别处理一种粒子的去除。两种去雪和去雨 GAN 的架构引入了特征提取阶段与经典 U-net 生成器网络的集成，从而在尺寸和外观存在严重变化的情况下增强了去除性能。此外，我们提供了一个包含成对雪景图像及其通过低秩近似方法估计的真值图像的现实数据集。实验表明，所提出的去雪和去雨方法在合成数据集和真实数据集上的测试中，与现有最先进方法相比取得了显著提升。
引用
@article{arxiv.2411.04821,
title = {End-to-end Inception-Unet based Generative Adversarial Networks for Snow and Rain Removals},
author = {Ibrahim Kajo and Mohamed Kas and Yassine Ruichek},
journal= {arXiv preprint arXiv:2411.04821},
year = {2024}
}