水滴立体视觉

本文提出了一种基于水滴的深度估计方法。其核心思想是：附着在窗玻璃上的单个水滴完全透明且凸出，因此在光学上起到鱼眼镜头的作用。若在一幅图像中有多个水滴，则通过每个水滴我们可以看到具有不同视点的环境，类似于立体视觉。为实现该想法，我们需要对每个水滴图像进行校正，使径向畸变的平面看起来平整。为此校正，我们考虑水滴的两个物理特性：(1) 静态水滴具有恒定体积，其几何凸形由张力与重力之间的平衡决定。这意味着可以通过最小化总势能（即张力势能与重力势能之和）来获得三维几何形状。(2) 水滴内部的图像由水滴的三维形状及边界处的全反射决定。这种全反射产生了在任何附着水滴中常见的暗带。因此，一旦恢复了水滴的三维形状，我们就可以通过反向光线追踪来校正水滴图像。随后，我们可以利用立体视觉计算深度。除深度估计外，我们还可用于图像重聚焦。在真实图像上的实验和定量评估表明了所提方法的有效性。据我们所知，此前从未有利用附着水滴来估计深度的先例。