一种基于学习的散焦测距与立体匹配混合框架
计算机视觉与模式识别
2018-08-07 v3
摘要
散焦测距和立体匹配是研究最多的两种被动深度感知方案。这两种技术本质上是互补的：DfD 能够稳健地处理对立体匹配有问题的重复纹理，而立体匹配对散焦模糊不敏感，并且能够处理较大的深度范围。在本文中，我们提出了一种统一的基于学习的技术来进行混合 DfD 和立体匹配。我们的输入是图像三元组：一个立体图像对和其中一个立体视图的散焦图像。我们首先应用深度引导的光场渲染来为这种混合感知设置构建一个全面的训练数据集。接下来，我们采用沙漏网络架构分别从 DfD 和立体中进行深度推断。最后，我们利用两个独立网络之间的不同连接方法将它们集成到一个统一的解决方案中，以产生高保真度的 3D 视差图。在真实和合成数据上的综合实验表明，我们新的基于学习的混合 3D 感知技术能够显著提高 3D 重建的准确性和鲁棒性。
引用
@article{arxiv.1708.00583,
title = {A Learning-based Framework for Hybrid Depth-from-Defocus and Stereo Matching},
author = {Zhang Chen and Xinqing Guo and Siyuan Li and Xuan Cao and Jingyi Yu},
journal= {arXiv preprint arXiv:1708.00583},
year = {2018}
}