基于提示的测试时真实图像去雾:一种新流程
计算机视觉与模式识别
2024-10-29 v5
摘要
现有方法试图通过探索精心设计的训练方案(例如 CycleGAN、先验损失)来提升模型在真实世界雾图上的泛化能力。然而,它们大多需要非常复杂的训练过程才能获得满意结果。我们首次提出一种称为基于提示的测试时去雾(PTTD)的新流程,以在推理阶段帮助生成视觉上令人愉悦的真实拍摄雾图结果。我们通过实验观察到,给定在合成数据上训练的去雾模型,微调编码特征的统计量(即均值与标准差)能够缩小域间隙,提升真实图像去雾性能。据此,我们首先应用提示生成模块(PGM)生成视觉提示,其作为均值与标准差适当统计扰动的参考。然后,我们将特征适配模块(FAM)嵌入现有去雾模型,以在生成提示引导下调整原始统计量。PTTD 与模型无关,可配备各种在合成雾-清图像对上训练的最先进去雾模型以应对真实图像去雾任务。大量实验结果表明,我们的 PTTD 有效,在真实场景中以优于最先进去雾方法的性能取胜。代码见 \url{https://github.com/cecret3350/PTTD-Dehazing}。
引用
@article{arxiv.2309.17389,
title = {Prompt-based test-time real image dehazing: a novel pipeline},
author = {Zixuan Chen and Zewei He and Ziqian Lu and Xuecheng Sun and Zhe-Ming Lu},
journal= {arXiv preprint arXiv:2309.17389},
year = {2024}
}
备注
Accepted by ECCV 2024