通过鲁棒光度一致性学习无监督多视图立体
计算机视觉与模式识别
2019-06-07 v2 机器学习
摘要
我们提出一种基于学习的多视图立体（MVS）方法。尽管当前的深度 MVS 方法取得了令人印象深刻的成果，但它们关键依赖于真实的 3D 训练数据，而获取此类精确 3D 几何作为监督是一项主要障碍。我们的框架转而利用多视图间的光度一致性作为宽基线 MVS 设置中深度预测学习的监督信号。然而，由于跨视图的遮挡与光照变化，朴素地施加光度一致性约束并不可取。为克服这一点，我们提出了一种鲁棒损失形式：a) 强制一阶一致性；b) 对每个点选择性地强制与部分视图的一致性，从而隐式处理遮挡。我们展示了使用真实数据集在无 3D 监督下学习 MVS 的能力，并表明我们所提鲁棒损失的每个组分都带来显著改进。我们定性观察到，我们的重建往往比获取的真实标注更完整，进一步显示了该方法的优点。最后，我们学到的模型可泛化至新设定，且我们的方法允许通过无监督微调将现有 CNN 适配到无真实 3D 的数据集。项目主页：https://tejaskhot.github.io/unsup_mvs
引用
@article{arxiv.1905.02706,
title = {Learning Unsupervised Multi-View Stereopsis via Robust Photometric Consistency},
author = {Tejas Khot and Shubham Agrawal and Shubham Tulsiani and Christoph Mertz and Simon Lucey and Martial Hebert},
journal= {arXiv preprint arXiv:1905.02706},
year = {2019}
}