基于定制 CLIP-Classifier 的扩散模型 underwater 图像增强

Underwater 图像增强 (UIE) 旨在提高来自低质量输入的视觉质量。与其他图像增强任务不同，underwater 图像因缺乏真实参考图像而受限。虽然已有工作利用合成图像和手动挑选的高质量增强图像作为参考图像来训练增强网络，但其性能上限受参考域限制。为此，我们提出 CLIP-UIE，一个新框架，利用对比语言-图像预训练 (CLIP) 的潜能来处理 UIE 任务。具体而言，我们提出通过颜色转换将 in-air 自然图像退化为对应的 underwater 图像，由真实 underwater 域指导。这一方法使扩散模型能够捕获从 underwater 退化域到真实 in-air 自然域的映射知识。然而，对特定下游任务进行 fine-tuning 仍不可避免，且可能导致这种先验知识的丢失。为弥补此缺点，我们将 in-air 自然域的先验知识与 CLIP 结合，用于训练 CLIP-Classifier。随后，我们将该 CLIP-Classifier 与 UIE benchmark 数据集集成，以联合方式 fine-tuning 扩散模型，引导增强结果朝向 in-air 自然域。此外，针对图像增强任务，我们注意到图像到图像扩散模型和 CLIP-Classifier 在 fine-tuning 时主要关注高频区域。因此，我们提出一种新的 fine-tuning 策略，专门针对高频区域，可快 10 倍于传统策略。大量实验表明，我们的方法呈现更自然的外观。