视频散焦深度估计

如果具备每帧的深度信息，许多引人注目的视频后处理效果，特别是美学焦点编辑和重聚焦效果，便成为可能。现有的捕获 RGB 和深度的计算方法要么特意修改光学系统（编码光圈、光场成像），要么采用主动 RGB-D 相机。由于这些方法对于使用普通相机的用户而言不够实用，我们提出了一种算法，使用未经改装的商品级摄像机捕获动态场景的全聚焦 RGB-D 视频。我们的算法将通常不受欢迎的散焦模糊转化为有价值的信号。我们方法的输入是一段在捕获过程中焦平面不断前后移动的视频，从而引发并强烈显现散焦模糊。这可以通过在录制期间手动转动镜头对焦环来实现。核心算法要素是一种新的基于视频的散焦深度算法，可计算时空连贯的深度图、去模糊的全聚焦视频以及每帧的对焦距离。我们广泛评估了该方法，并表明它能够实现引人注目的视频后处理效果，例如不同类型的重聚焦。