M^3VSNet:无监督多度量多视图立体网络
计算机视觉与模式识别
2020-05-29 v2 机器学习
摘要
当前基于监督学习网络的多视图立体(MVS)方法相比传统MVS方法表现出令人瞩目的性能。然而,用于训练的真实深度图难以获取,且局限于有限的场景类型。本文提出一种新颖的无监督多度量MVS网络,命名为M^3VSNet,用于在无任何监督的情况下进行稠密点云重建。为提高点云重建的鲁棒性与完整性,我们提出一种新颖的多度量损失函数,结合像素级与特征级损失函数,从匹配对应关系的不同视角学习内在约束。此外,我们还在3D点云格式中引入法线-深度一致性,以提高估计深度图的精度与连续性。实验结果表明,M3VSNet确立了最先进的无监督方法地位,在DTU数据集上取得了与以往有监督MVSNet相当的性能,并在Tanks and Temples基准上展现出强大的泛化能力且取得有效提升。我们的代码可在 https://github.com/whubaichuan/M3VSNet 获取。
引用
@article{arxiv.2004.09722,
title = {M^3VSNet: Unsupervised Multi-metric Multi-view Stereo Network},
author = {Baichuan Huang and Hongwei Yi and Can Huang and Yijia He and Jingbin Liu and Xiao Liu},
journal= {arXiv preprint arXiv:2004.09722},
year = {2020}
}
备注
Welcome to communicate with the author by the repo https://github.com/whubaichuan/M3VSNet