HybrUR:一种用于无监督水下图像复原的物理-神经混合方案
计算机视觉与模式识别
2023-10-10 v2 图像与视频处理
摘要
水下图像的鲁棒视觉复原仍然是一项挑战。由于缺乏良好匹配的水下与空气中图像,基于循环生成对抗框架的无监督方法近年来被广泛研究。然而,当仅使用非配对图像数据采用端到端无监督方法时,可能会发生模式崩溃,且复原图像的颜色校正通常较差。本文中,我们提出一种数据驱动与物理驱动相结合的无监督架构,利用非配对的水下与空气中图像进行水下图像复原。为实现有效的颜色校正与质量增强,必须基于光学上明确的物理定律显式构建水下图像退化模型。因此,我们采用 Jaffe-McGlamery 退化理论设计生成器,并使用神经网络对水下视觉退化过程进行建模。此外,我们对场景深度与退化因子施加物理约束以估计后向散射,从而避免混合物理-神经模型训练过程中的梯度消失问题。实验结果表明,所提方法可在无监督条件下对无约束水下图像进行高质量复原。在多个基准上,所提方法优于若干最先进的(state-of-the-art, SOTA)监督与无监督方法。我们证明了该方法在真实世界应用中取得了令人鼓舞的结果。
引用
@article{arxiv.2107.02660,
title = {HybrUR: A Hybrid Physical-Neural Solution for Unsupervised Underwater Image Restoration},
author = {Shuaizheng Yan and Xingyu Chen and Zhengxing Wu and Min Tan and Junzhi Yu},
journal= {arXiv preprint arXiv:2107.02660},
year = {2023}
}
备注
13 pages, 9 figures