SMD-Nets：立体混合密度网络
计算机视觉与模式识别
2021-04-09 v1
摘要
尽管近年来深度学习极大地提升了立体匹配精度，但高效恢复清晰边界和高分辨率输出仍然具有挑战性。本文提出立体混合密度网络（SMD-Nets），一种简单而有效的学习框架，兼容广泛的2D和3D架构，并改善了上述两个问题。具体而言，我们采用双峰混合密度作为输出表示，并表明这能在不连续处获得清晰精确的视差估计，同时显式建模观测中固有的偶然不确定性。此外，我们将视差估计表述为图像域中的连续问题，使我们的模型能以任意空间精度查询视差。我们在一个新的高分辨率且高度逼真的合成立体数据集（包含8Mpx分辨率的立体图像对）以及真实世界立体数据集上进行了综合实验。实验表明，在物体边界附近深度精度有所提高，且能在标准GPU上预测超高分辨率视差图。我们通过提升多种立体骨干网络的性能展示了技术的灵活性。
引用
@article{arxiv.2104.03866,
title = {SMD-Nets: Stereo Mixture Density Networks},
author = {Fabio Tosi and Yiyi Liao and Carolin Schmitt and Andreas Geiger},
journal= {arXiv preprint arXiv:2104.03866},
year = {2021}
}
备注
CVPR 2021. Project Page: https://github.com/fabiotosi92/SMD-Nets