一种不使用像素与视差模型的新的立体匹配公式

我们引入一种不使用像素和视差模型的新的立体匹配公式。视觉中的许多问题被当作为每个像素分配一个标签来处理。视差即是立体匹配的标签。此类像素标记问题自然用能量最小化表示，其中能量函数有两项：一项惩罚与观测数据不一致的解，另一项强制空间平滑性。图割是解决能量最小化的高效方法之一。然而，多标记问题的精确最小化仅对具有凸平滑项的情况可由图割执行。在像素-视差公式中，凸平滑项不能生成重建良好的3D结果。因此，使用截断线性或二次平滑项等，此时需要近似能量最小化。本文中，我们引入一种新的站点-标记公式，其中站点不是像素而是3D空间中的线，标签不是视差而是深度值。对于该公式，可见性推理自然包含在能量函数中。此外，该公式允许我们使用小的平滑项，其不会过多影响3D结果。这使得优化步骤非常简单，因此我们可开发图割本身(而非能量最小化)的近似方法以及高性能GPU图割程序。对于Middlebury数据集中的Tsukuba立体对，我们使用GTX1080GPU在5ms内、使用GTX660GPU在19ms内得到结果。