具有学习块共面性、几何一致性与自适应像素采样的深度 PatchMatch 多视图立体
计算机视觉与模式识别
2022-10-17 v1
摘要
多视图立体（MVS）近期工作将可学习的光度分数与正则化同基于 PatchMatch 的优化相结合，以实现深度、法线和可见性的鲁棒逐像素估计。然而，在非学习方法中，对于具有稀疏视图的大场景仍表现更优，部分原因在于其使用了几何一致性约束以及能够在高分辨率下优化多视图的能力。本文中，我们基于学习方法改进光度分数，通过学习块共面性，并通过学习可与重投影误差结合的缩放光度代价来鼓励几何一致性。我们还提出一种用于候选传播的适应性像素采样策略，其降低内存以能够在更大分辨率、更多视图及更大编码器下训练。这些改进在具挑战性的 ETH3D 基准上带来 6-15% 的精度与完整度提升， resulting in higher F1 performance than the widely used state-of-the-art non-learning approaches ACMM and ACMP。
引用
@article{arxiv.2210.07582,
title = {Deep PatchMatch MVS with Learned Patch Coplanarity, Geometric Consistency and Adaptive Pixel Sampling},
author = {Jae Yong Lee and Chuhang Zou and Derek Hoiem},
journal= {arXiv preprint arXiv:2210.07582},
year = {2022}
}