Osmosis:用于水下图像复原的RGBD扩散先验
计算机视觉与模式识别
2024-08-05 v2
摘要
水下图像复原是一项具有挑战性的任务,因为水的影响随距离急剧增加。由于缺乏无水洁净场景的真实数据,这一任务变得更加困难。扩散先验已成为强大的图像复原先验。然而,它们通常使用所需复原输出的数据集进行训练,而这在我们的场景中是不可用的。我们还观察到仅使用颜色数据是不够的,因此用深度通道增强了先验。我们在颜色和深度的联合空间上训练了一个无条件扩散模型先验,使用了空气中自然户外场景的标准RGBD数据集。将此先验与基于水下图像成像模型的新型引导方法相结合,我们生成了洁净图像的后验样本,去除了水的影响。尽管我们的先验在训练期间未见过任何水下图像,但我们的方法在极具挑战性的场景中优于图像复原的SOTA基线。我们的代码、模型和数据可在项目网站上获取。
引用
@article{arxiv.2403.14837,
title = {Osmosis: RGBD Diffusion Prior for Underwater Image Restoration},
author = {Opher Bar Nathan and Deborah Levy and Tali Treibitz and Dan Rosenbaum},
journal= {arXiv preprint arXiv:2403.14837},
year = {2024}
}
备注
ECCV 2024. Project page with results and code: https://osmosis-diffusion.github.io/