PVSNet：像素级可见性感知多视立体网络
计算机视觉与模式识别
2020-07-16 v1
摘要
近来，基于学习的多视立体方法已取得令人瞩目的结果。然而，它们都忽视了不同视图间的可见性差异，这导致无差别的多视相似度定义，并极大限制了其在具有强视角变化的数据集上的性能。本文提出一种像素级可见性感知多视立体网络（PVSNet）用于鲁棒稠密三维重建。我们提出一个像素级可见性网络，在计算多视相似度之前为不同邻域图像学习可见性信息，进而利用该可见性信息构建自适应加权代价体。此外，我们提出一种抗噪训练策略，在模型训练时引入干扰视图，使像素级可见性网络对不相关视图更具区分性，这与现有仅使用两个最佳邻域视图训练的学方法不同。据我们所知，PVSNet是首个能够捕捉不同邻域视图可见性信息的深度学习框架。由此，我们的方法可很好泛化至不同类型数据集，尤其是具有强视角变化的ETH3D高分辨率基准。大量实验表明，PVSNet在不同数据集上均达到SOTA性能。
引用
@article{arxiv.2007.07714,
title = {PVSNet: Pixelwise Visibility-Aware Multi-View Stereo Network},
author = {Qingshan Xu and Wenbing Tao},
journal= {arXiv preprint arXiv:2007.07714},
year = {2020}
}