基于物理的去噪扩散隐式模型的水下图像增强
计算机视觉与模式识别
2024-09-30 v1
摘要
水下视觉对自主水下航行器 (AUVs) 至关重要，由于光吸收和散射等因素，或解决这些因素所需的充足模型计算复杂度，在资源受限的 AUV 上实时增强退化的水下图像是一项关键挑战。传统的图像增强技术缺乏对不同水下条件的适应性，而基于学习的方法，特别是使用卷积神经网络 (CNNs) 和生成对抗网络 (GANs) 的方法，提供了更稳健的解决方案，但面临增强不足、训练不稳定或模式崩溃等局限性。去噪扩散概率模型 (DDPMs) 已成为图像到图像任务的 SOTA 方法，但需要密集的计算复杂度才能使用近期的 UW-DDPM 解决方案实现所需的水下图像增强 (UIE)。为了应对这些挑战，本文引入了 UW-DiffPhys，一种新颖的基于物理和基于扩散的 UIE 方法。UW-DiffPhys 将轻量计算的基于物理的 UIE 网络组件与去噪 U-Net 相结合，以替代现有 UW-DDPM 框架中计算密集的分布转换 U-Net，在保持性能的同时降低了复杂度。此外，采用去噪扩散隐式模型 (DDIM) 通过非马尔可夫采样加速推理过程。实验结果表明，与 UW-DDPM 相比，UW-DiffPhys 在计算复杂度和推理时间上实现了大幅减少，在 PSNR、SSIM、UCIQE 等关键指标上具有竞争力的性能，并改善了整体水下图像质量 UIQM 指标。实现代码可在以下仓库找到：https://github.com/bachzz/UW-DiffPhys
引用
@article{arxiv.2409.18476,
title = {Underwater Image Enhancement with Physical-based Denoising Diffusion Implicit Models},
author = {Nguyen Gia Bach and Chanh Minh Tran and Eiji Kamioka and Phan Xuan Tan},
journal= {arXiv preprint arXiv:2409.18476},
year = {2024}
}