RIDCP：基于高质量码本先验的真实图像去雾新方法
计算机视觉与模式识别
2023-04-11 v1
摘要
现有的去雾方法因缺乏成对的真实数据与鲁棒先验，难以处理真实世界中的雾图。本文从合成更真实的雾图数据以及向网络中引入更鲁棒先验两个角度，提出了一种真实图像去雾的新范式。具体而言：(1) 我们未采用事实上的物理散射模型，而是重新思考真实雾图的退化过程，提出了一种考虑多种退化类型的现象学流水线。(2) 我们提出了一种基于高质量码本先验的真实图像去雾网络（RIDCP）。首先，在大规模高质量数据集上预训练一个 VQGAN 以获得离散码本，其封装了高质量先验（HQPs）。在利用 HQPs 替换雾带来的负面效应后，配备新颖归一化特征对齐模块的解码器能有效利用高质量特征并生成干净结果。然而，尽管我们的退化流水线大幅缓解了合成与真实数据间的域差距，仍难以完全避免，这给野外环境下的 HQPs 匹配带来挑战。因此，我们通过可控匹配操作在将特征匹配至 HQPs 时重新计算距离，从而更易找到更优对应项。我们基于可解释方案给出了控制该匹配的建议。用户也可按偏好灵活调整增强程度。大量实验验证了我们的数据合成流水线的有效性以及 RIDCP 在真实图像去雾中的优越性能。
引用
@article{arxiv.2304.03994,
title = {RIDCP: Revitalizing Real Image Dehazing via High-Quality Codebook Priors},
author = {Rui-Qi Wu and Zheng-Peng Duan and Chun-Le Guo and Zhi Chai and Chong-Yi Li},
journal= {arXiv preprint arXiv:2304.03994},
year = {2023}
}
备注
Acceptted by CVPR 2023