SurfaceNet+：一种用于极稀疏多视点立体视觉的端到端三维神经网络
计算机视觉与模式识别
2020-05-28 v1 机器学习
图像与视频处理
摘要
多视点立体视觉（MVS）试图从二维图像中恢复三维模型。随着观测变得稀疏，显著的三维信息丢失使MVS问题更具挑战性。我们并非仅关注密集采样条件，而是研究具有大基线角下的稀疏MVS，因为更稀疏的感知更实用且更具成本效益。通过考察多种观测稀疏度，我们表明经典深度融合流程在基线角较大导致光度一致性检查恶化的情况下变得无力。作为另一解决思路，我们提出SurfaceNet+，一种处理极稀疏MVS设置所引起的“不完整”与“不准确”问题的体素方法。具体而言，前者由一种新颖的体素级视图选择方法处理，该方法通过考虑几何先验在选取有效视图的同时摒弃无效的遮挡视图方面具有优势。此外，后者通过多尺度策略处理，从而依次细化重复图案区域附近恢复出的几何形状。实验展示了SurfaceNet+与最先进方法在精确率与召回率方面的巨大性能差距。在两个数据集的极端稀疏MVS设置下，现有方法仅能返回极少点，而SurfaceNet+仍如密集MVS设置下一样良好工作。基准与实现已公开于 https://github.com/mjiUST/SurfaceNet-plus。
引用
@article{arxiv.2005.12690,
title = {SurfaceNet+: An End-to-end 3D Neural Network for Very Sparse Multi-view Stereopsis},
author = {Mengqi Ji and Jinzhi Zhang and Qionghai Dai and Lu Fang},
journal= {arXiv preprint arXiv:2005.12690},
year = {2020}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), May 2020