通过残差学习进行物理信息与数据驱动的水下图像仿真
计算机视觉与模式识别
2024-02-09 v1 图像与视频处理
摘要
通常，水下图像会遭受颜色失真和低对比度的问题，因为光在水中传播时会根据波长和水体特性发生不同程度的衰减和反向散射。现有的一个简单退化模型（类似于大气图像“雾化”效应）虽然有用，但不足以正确表示水下图像的退化，因为存在未考虑且不可测量的因素，例如水体浑浊引起的光散射、浑浊介质的反射特性等。我们提出了一种基于深度学习的架构来自动仿真水下效应，其中网络仅知晓一个类似去雾的图像形成方程，而由其他未知因素引起的额外退化则以数据驱动的方式推断。我们仅使用RGB图像（因为在实时场景中深度图像不可用）来估计深度图像。为了测试，由于缺乏真实的水下图像数据集，我们提出了一个复杂的图像形成模型/方程来手动生成类似于真实水下图像的图像（用作真实值）。然而，只有经典的图像形成方程（用于图像去雾的方程）被告知给网络。这模拟了在真实场景中，物理过程永远不会被完全知晓，只有简化模型是已知的情况。得益于由复杂图像形成方程生成的真实值，我们能够成功地对所提出的技术进行定性和定量评估，并与其他纯数据驱动方法进行比较。
引用
@article{arxiv.2402.05281,
title = {Physics Informed and Data Driven Simulation of Underwater Images via Residual Learning},
author = {Tanmoy Mondal and Ricardo Mendoza and Lucas Drumetz},
journal= {arXiv preprint arXiv:2402.05281},
year = {2024}
}