基于能量信息的无配对照片写实图像去雾扩散模型
计算机视觉与模式识别
2024-07-25 v1
摘要
现有的无配对图像去雾方法面临在准确捕获雨天域与干净域区分特征方面存在挑战，导致重构图像中残余退化和颜色失真。为此，我们提出一种用于无配对照片写实图像去雾的能量信息扩散模型（UPID-EDM）。首先，我们深入研究嵌入在对比语言-图像预训练模型（CLIP）中的复杂视觉-语言先验，并展示了这些先验有助于雨天图像和干净图像的区分。进一步，我们引入一个双一致能量函数（DEF），在消除雨相关特征的同时保留雨无关特征。该能量函数通过非对应雨天和干净图像进行训练。此外，我们采用雨相关性丢弃能量函数（RDEF）和雨无关性保持能量函数（RPEF），引导预训练扩散模型的逆采样过程，有效去除雨帖，同时保留图像内容。广泛的实验表明，我们的能量信息模型在定于和无参考指标方面均优于现有的无配对学习方法。
引用
@article{arxiv.2407.17193,
title = {Unpaired Photo-realistic Image Deraining with Energy-informed Diffusion Model},
author = {Yuanbo Wen and Tao Gao and Ting Chen},
journal= {arXiv preprint arXiv:2407.17193},
year = {2024}
}