SelfPromer:具有深度一致性的自提示去雾 Transformer
计算机视觉与模式识别
2024-03-18 v3
摘要
本工作提出了一种有效的深度一致性自提示 Transformer 用于图像去雾。其动机源于一个观察:带有雾残差的图像与其清晰对应图像的估计深度存在差异。因此,强制去雾图像与清晰图像的深度一致性对去雾至关重要。为此,我们基于有雾输入图像与相应清晰对应图像之间的深度差异特征构建提示,以引导去雾模型实现更好的复原。具体而言,我们首先将输入图像提取的深度特征作用于深度差异特征,生成包含输入中雾残差信息的提示。然后我们提出一个提示嵌入模块,通过将提示线性加到深度特征上以感知雾残差。进一步,我们开发了一个有效的提示注意力模块,以更多关注雾残差从而实现更好的去除。通过将提示、提示嵌入和提示注意力整合到基于 VQGAN 的编码器-解码器网络中,我们可以获得更好的感知质量。由于清晰图像深度在推理时不可用,且一次性前馈执行的去雾图像可能仍含部分雾残差,我们提出了一种新的连续自提示推理,可迭代纠正去雾模型以生成更好的无雾图像。大量实验表明,在包括 NIQE、PI 和 PIQE 在内的感知指标上,我们的方法在合成和真实世界数据集上均优于最先进的方法。
引用
@article{arxiv.2303.07033,
title = {SelfPromer: Self-Prompt Dehazing Transformers with Depth-Consistency},
author = {Cong Wang and Jinshan Pan and Wanyu Lin and Jiangxin Dong and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2303.07033},
year = {2024}
}
备注
Accepted by AAAI24. Source codes will be made available at: https://github.com/supersupercong/SelfPromer