从单幅图像学习立体匹配
计算机视觉与模式识别
2020-08-24 v2
摘要
监督深度网络是立体图像对中寻找对应点的最佳方法之一。与所有监督方法一样，这些网络在训练期间需要真值数据。然而，收集大量准确的稠密对应数据极具挑战性。我们提出，没有必要如此高度依赖真值深度甚至对应的立体图像对。受单目深度估计近期进展的启发，我们从单幅图像生成合理的视差图。进而，我们在精心设计的流程中使用这些有缺陷的视差图来生成立体训练对。以这种方式训练使得能够将任意单幅 RGB 图像集合转换为立体训练数据。这显著减少了人力投入，无需收集真实深度或手工设计合成数据。因此，我们可以从头开始在如 COCO 等先前难以用于立体的数据集上训练立体匹配网络。通过大量实验，我们表明当在 KITTI、ETH3D 和 Middlebury 上评估时，我们的方法优于使用标准合成数据集训练的立体网络。
引用
@article{arxiv.2008.01484,
title = {Learning Stereo from Single Images},
author = {Jamie Watson and Oisin Mac Aodha and Daniyar Turmukhambetov and Gabriel J. Brostow and Michael Firman},
journal= {arXiv preprint arXiv:2008.01484},
year = {2020}
}
备注
Accepted as an oral presentation at ECCV 2020