通过融合单视图深度概率与多视图几何的多视图深度估计
计算机视觉与模式识别
2022-03-30 v2
摘要
多视图深度估计方法通常需要计算多视图代价体，这导致巨大的内存消耗和缓慢的推理。此外，多视图匹配在缺乏纹理表面、反射表面和运动物体上可能失败。对于此类失效模式，单视图深度估计方法通常更可靠。为此，我们提出 MaGNet，一种将单视图深度概率与多视图几何相融合的新框架，以提高多视图深度估计的准确率、鲁棒性和效率。对于每一帧，MaGNet 估计单视图深度概率分布，参数化为逐像素高斯分布。为参考帧估计的分布随后用于采样逐像素深度候选。这种概率采样使网络在评估更少深度候选的同时实现更高准确率。我们还提出针对多视图匹配分数的深度一致性加权，以确保多视图深度与单视图预测一致。所提方法在 ScanNet、7-Scenes 和 KITTI 上取得了最先进的性能。定性评估表明我们的方法对缺乏纹理/反射表面和运动物体等挑战性伪影更具鲁棒性。我们的代码和模型权重可在 https://github.com/baegwangbin/MaGNet 获取。
引用
@article{arxiv.2112.08177,
title = {Multi-View Depth Estimation by Fusing Single-View Depth Probability with Multi-View Geometry},
author = {Gwangbin Bae and Ignas Budvytis and Roberto Cipolla},
journal= {arXiv preprint arXiv:2112.08177},
year = {2022}
}
备注
CVPR 2022 (oral)