用于高效立体匹配的位置偏移不变代价计算
计算机视觉与模式识别
2020-12-03 v1
摘要
尽管基于深度学习的方法以前所未有的视差精度主导了立体匹配排行榜，但其推理时间通常较慢，对一对 540p 图像需耗时秒级。主要原因在于主流方法对 4D 特征体应用耗时的 3D 卷积。加速计算的常见方式是下采样特征体，但这会丢失高频细节。为应对这些挑战，我们提出一种位移不变代价计算模块，无需 4D 特征体即可计算匹配代价。具体而言，代价通过对每个视差偏移特征图对独立地应用同一 2D 卷积网络来计算。与以往简单在输入与视差图间进行上下文映射的基于 2D 卷积的方法不同，我们提出的方法学习在两幅图像间匹配特征。我们还提出一种基于熵的细化策略来精炼计算出的视差图，其通过避免需在右图上计算第二张视差图而进一步提升速度。在标准数据集（SceneFlow、KITTI、ETH3D 和 Middlebury）上的大量实验表明，我们的方法以远少得多的推理时间取得了具竞争力的精度。在典型图像尺寸下，我们的方法在桌面 GPU 上处理超过 100 FPS，使其适用于自动驾驶等时间关键型应用。我们还展示了我们的方法对未见过的数据集泛化良好，优于 4D 体方法。
引用
@article{arxiv.2012.00899,
title = {Displacement-Invariant Cost Computation for Efficient Stereo Matching},
author = {Yiran Zhong and Charles Loop and Wonmin Byeon and Stan Birchfield and Yuchao Dai and Kaihao Zhang and Alexey Kamenev and Thomas Breuel and Hongdong Li and Jan Kautz},
journal= {arXiv preprint arXiv:2012.00899},
year = {2020}
}
备注
8 pages