Mamba-UIE：基于物理模型约束的水下图像增强
人工智能
2024-08-01 v2
摘要
在水下图像增强（UIE）中，卷积神经网络（CNN）在建模长程依赖性方面存在固有局限性，且在恢复全局特征方面效率较低。虽然 Transformer 擅长建模长程依赖性，但其计算复杂度随图像分辨率呈二次方增长，带来了显著的效率挑战。此外，大多数监督学习方法缺乏有效的物理模型约束，导致生成图像的真实感不足且容易过拟合。为解决这些问题，我们提出了一种基于物理模型约束的水下图像增强框架 Mamba-UIE。具体来说，我们将输入图像分解为四个分量：水下场景辐射率、直接传输图、后向散射传输图和全局背景光。这些分量根据修正的水下图像形成模型重新组合，并在重建图像和原始图像之间施加重建一致性约束，从而实现对水下图像增强过程的有效物理约束。为应对 Transformer 在处理长序列时的二次方复杂度问题，我们引入了基于线性状态空间模型的 Mamba-UIE 网络。通过将 Mamba 集成到卷积块中，我们在通道和空间层面建模长程依赖性，同时保留 CNN 主干以恢复局部特征和细节。在多个公开数据集上的大量实验表明，Mamba-UIE 优于现有的最先进方法，在 UIEB 数据集上达到了 27.13 的 PSNR 和 0.93 的 SSIM。我们的方法可在 https://github.com/zhangsong/Mamba-UIE 获取。
引用
@article{arxiv.2407.19248,
title = {Mamba-UIE: Enhancing Underwater Images with Physical Model Constraint},
author = {Song Zhang and Yuqing Duan and Daoliang Li and Ran Zhao},
journal= {arXiv preprint arXiv:2407.19248},
year = {2024}
}