通过镜面反射先验的水面场景自监督单目深度估计

由于缺乏足够可靠的线索作为先验知识，从单张图像进行单目深度估计对计算机视觉而言是一个不适定问题。除了帧间监督（即立体帧和相邻帧）之外，同一帧内也存在丰富的先验信息。来自镜面表面的反射作为信息丰富的帧内先验，使我们能够将不适定的深度估计任务重新表述为多视图合成。本文提出了通过帧内先验（即反射监督和几何约束）对水面场景深度学习深度估计的首次自监督。在第一阶段，执行水面分割网络将反射分量从整幅图像中分离出来。接下来，我们构建一个自监督框架，从被视为其他视角的反射中预测目标外观。结合 SmoothL1 和一种新颖的光度自适应 SSIM 的光度重投影误差被构建出来，通过对齐变换后的虚拟深度和源深度来优化位姿和深度估计。作为补充，从真实和虚拟相机位置确定水面，以补充水域的深度。此外，为了减轻繁重的真实标注工作，我们引入了一个由 Unreal Engine 4 渲染的大规模水面反射场景（WRS）数据集。在 WRS 数据集上的大量实验证明了所提方法与最先进的深度估计技术相比的可行性。