NightHazeFormer：基于先验查询Transformer的单幅夜间雾霾去除
计算机视觉与模式识别
2023-08-15 v3
摘要
夜间图像去雾是一项具有挑战性的任务，因为存在多种不利退化效应，包括辉光、雾、模糊、噪声、色彩失真等。然而，以往多数研究主要关注日间图像去雾或夜间雾天场景中呈现的部分退化，可能导致不令人满意的复原结果。本文中，我们提出一种基于Transformer的端到端框架用于夜间雾霾去除，称为NightHazeFormer。我们提出的方法包含两个阶段：有监督预训练与半监督微调。在预训练阶段，我们将两个强先验引入Transformer解码器以生成不可学习的先验查询，引导模型提取特定退化。对于微调，我们将生成的伪真值与输入的真实世界夜间雾图作为配对图像，并送入合成域以微调预训练模型。这种半监督微调范式有助于提升对真实域的泛化能力。此外，我们还提出一个大规模合成数据集称为UNREAL-NH，以全面模拟真实世界夜间雾霾场景。在多个合成与真实世界数据集上的大量实验证明了我们的NightHazeFormer在视觉与定量方面优于最先进的夜间雾霾去除方法。
引用
@article{arxiv.2305.09533,
title = {NightHazeFormer: Single Nighttime Haze Removal Using Prior Query Transformer},
author = {Yun Liu and Zhongsheng Yan and Sixiang Chen and Tian Ye and Wenqi Ren and Erkang Chen},
journal= {arXiv preprint arXiv:2305.09533},
year = {2023}
}
备注
10 pages, 11 figures