以不完美监督学习真实世界图像去天气
计算机视觉与模式识别
2023-12-27 v3
摘要
真实世界图像去天气旨在去除各种不良的与天气相关的伪影。由于无法同时捕获图像对，现有的真实世界去天气数据集往往在真实图像与输入退化图像之间存在光照、位置与纹理的不一致，导致不完美监督。此类非理想监督会对基于学习的去天气方法的训练过程产生负面影响。本工作中，我们试图以针对各种不一致性的统一方案解决该问题。具体而言，受信息瓶颈理论启发，我们首先开发一致标签构造器 (CLC)，以生成与输入退化图像尽可能一致、同时去除大部分天气相关退化的伪标签。特别地，当前输入的多个相邻帧也被送入 CLC 以增强伪标签。随后我们通过所提信息分配策略 (IAS) 结合原始不完美标签与伪标签联合监督去天气模型。测试时仅使用去天气模型进行推理。在两个真实世界去天气数据集上的实验表明，我们的方法帮助现有去天气模型取得更好性能。代码见 https://github.com/1180300419/imperfect-deweathering。
引用
@article{arxiv.2310.14958,
title = {Learning Real-World Image De-Weathering with Imperfect Supervision},
author = {Xiaohui Liu and Zhilu Zhang and Xiaohe Wu and Chaoyu Feng and Xiaotao Wang and Lei Lei and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2310.14958},
year = {2023}
}
备注
AAAI2024