基于不确定性驱动排序稀疏采样 Transformer 的雨滴与雨纹统一去除
计算机视觉与模式识别
2023-08-29 v1
摘要
在真实世界中，由雨引起的图像退化常表现为雨纹与雨滴并存，从而增加了恢复潜在干净图像的难度。需注意，雨纹与雨滴在所拍摄图像中具有多样的形状、尺寸与位置，因此建模由雨伪影引起的不规则退化之间的相关关系，是图像去雨的必要前提。本文旨在提出一种高效且灵活的机制，以全局视角学习并建模退化关系，从而实现复杂雨景的统一去除。为此，我们提出了一种基于不确定性驱动排序的稀疏采样 Transformer，称为 UDR-S2Former。相较以往方法，我们的 UDR-S2Former 具有三点优势。首先，它能自适应采样相关的图像退化信息以建模潜在退化关系。其次，显式应用不确定性驱动排序策略可促使网络关注退化特征并理解重建过程。最后，实验结果表明，我们的 UDR-S2Former 在所有基准上均明显优于最先进（SOTA）方法。
引用
@article{arxiv.2308.14153,
title = {Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified Removal of Raindrops and Rain Streaks},
author = {Sixiang Chen and Tian Ye and Jinbin Bai and Erkang Chen and Jun Shi and Lei Zhu},
journal= {arXiv preprint arXiv:2308.14153},
year = {2023}
}
备注
Accepted by ICCV'23