单视图深度估计中的不确定性与自监督

单视图深度估计指从单个二维图像中推导出每个像素的三维信息的能力。由于单视图无法唯一确定三维几何，因此单视图深度估计是一个难以确定的问题：存在多个深度解能解释从单一视角获得的三维信息。虽然深度神经网络在单视图深度捕获方面表现出色，但大多数当前方法是确定性的。在诸如自动驾驶或医学机器人等领域应用时，忽略预测的不确定性可能导致灾难性后果。我们通过对贝叶斯深度神经网络的单视图深度不确定性进行量化来解决这一问题。在医学领域，尤其是内窥镜图像中，缺乏此类标注数据。为缓解数据不足问题，我们提出一种方法来改进从合成到真实域的迁移。我们引入一种不确定性感知的教师-学生架构，以自监督方式进行训练，考虑教师的不确定性。鉴于大量未标注数据以及在医学 minimally invasive ( minimally invasive) 手术中获取标注深度的挑战，我们主张一种完全自监督的方法，仅需 RGB 图像以及内窥镜的几何和光度校准。在内窥镜成像中，摄像头和光源位于距离靶面较小的距离内。该设置表明，图像中更亮的区域靠近相机，而更暗的区域则较远。基于这一观察，我们利用任何给定的法向和表面色度，像素亮度与距离之平方成反比这一事实。我们提出将光照作为深度神经网络的强单视图自监督信号。