PatchMatch-RL：基于像素级深度、法向与可见性的深度多视点立体匹配
计算机视觉与模式识别
2021-08-23 v1
摘要
近期基于学习的多视点立体（MVS）方法在密集相机和小深度范围内表现出优异性能。然而，对于具有大深度范围和较稀疏宽基线视图的场景，非学习方法仍表现更优，部分原因在于其对深度、法向和可见性的像素级估计所进行的 PatchMatch 优化。本文提出一种端到端可训练的基于 PatchMatch 的 MVS 方法，结合了可训练代价与正则化以及像素级估计的优势。为克服涉及迭代采样与硬决策的非可微 PatchMatch 优化所带来的挑战，我们使用强化学习来最小化期望光度代价并最大化真实深度与法向的似然。我们通过使用膨胀块核来融入法向估计，并提出一种循环代价正则化，其不仅适用于正面平面扫描算法，也适用于我们的像素级深度/法向估计。我们在广泛使用的 MVS 基准 ETH3D 和 Tanks and Temples (TnT) 上评估了我们的方法，并与其他 state of the art 的基于学习的 MVS 模型进行比较。在 ETH3D 上，我们的方法优于其他近期基于学习的方法，并在高级 TnT 上表现相当。
引用
@article{arxiv.2108.08943,
title = {PatchMatch-RL: Deep MVS with Pixelwise Depth, Normal, and Visibility},
author = {Jae Yong Lee and Joseph DeGol and Chuhang Zou and Derek Hoiem},
journal= {arXiv preprint arXiv:2108.08943},
year = {2021}
}
备注
Accepted to ICCV 2021 for oral presentation