Atlantis：利用 Stable Diffusion 实现水下深度估计

近年来，由于深度学习的进步，单目深度估计在陆地图像上取得了显著进展。然而，由于数据稀缺，它在水下场景中仍然表现不足。鉴于水中光衰减和后向散射的固有挑战，获取清晰的水下图像或精确的深度信息非常困难且成本高昂。因此，基于学习的方法通常依赖合成数据，或转向无监督或自监督方法来缓解这种数据缺乏。尽管如此，这些方法的性能往往受到域差距和较宽松约束的限制。在本文中，我们提出了一种利用精确的陆地深度数据生成逼真水下图像的新流程。这种方法促进了用于水下深度估计的监督模型的训练，有效地缩小了陆地和水下环境之间的性能差距。与仅仅对陆地图像应用风格迁移而不改变场景内容的先前合成数据集不同，我们的方法通过创新的 Stable Diffusion 模型利用陆地深度数据，独特地创建了生动、不存在的水下场景。具体来说，我们为此生成任务引入了一个独特的 Depth2Underwater ControlNet，该网络在专门准备的 {Underwater, Depth, Text} 数据三元组上进行训练。我们新开发的数据集使陆地深度估计模型在未见过的水下图像上取得了相当大的定量和定性改进，超越了它们的陆地预训练对应模型。此外，水下场景增强的深度精度也有助于依赖深度图的水下图像恢复技术，进一步证明了我们数据集的实用性。该数据集将在 https://github.com/zkawfanx/Atlantis 获取。