利用几何先验提升深度立体网络泛化能力
计算机视觉与模式识别
2020-08-26 v1
摘要
端到端深度学习方法近年来推动了立体视觉的发展，并在训练与测试数据相似时取得优异结果。然而，具有密集真值的大规模多样真实场景数据集难以获取，且目前未向研究界公开。因此，许多算法依赖于相似场景的小规模真实数据集或合成数据集，但在此类数据集上训练的端到端算法常对真实应用中出现的不同图像泛化不佳。作为解决该问题的一步，我们提出将场景几何的先验知识融入端到端立体网络以助其更好泛化。对于给定的网络，我们在训练时显式加入梯度域平滑先验与遮挡推理，而推理时架构保持不变。实验上，当我们以合成数据集训练并在 Middlebury（真实图像）数据集测试时，显示出一致的提升。值得注意的是，我们将 PSM-Net 在 Middlebury 上的精度从 5.37 MAE 提升至 3.21 MAE，且不牺牲速度。
引用
@article{arxiv.2008.11098,
title = {Improving Deep Stereo Network Generalization with Geometric Priors},
author = {Jialiang Wang and Varun Jampani and Deqing Sun and Charles Loop and Stan Birchfield and Jan Kautz},
journal= {arXiv preprint arXiv:2008.11098},
year = {2020}
}