学习可变形假设采样以实现精确的PatchMatch多视图立体匹配
计算机视觉与模式识别
2023-12-27 v1
摘要
本文介绍了一种可学习的可变形假设采样器（DeformSampler），以解决精确PatchMatch多视图立体匹配（MVS）中噪声深度估计这一具有挑战性的问题。我们观察到，PatchMatch MVS求解器采用的启发式深度假设采样模式对（i）物体表面深度的分段平滑分布，以及（ii）表面点沿射线方向的深度预测概率的隐式多模态分布不敏感。因此，我们开发了DeformSampler来学习对分布敏感的采样空间，以（i）传播与场景几何一致的深度，以及（ii）拟合一个拉普拉斯混合模型，该模型逼近沿射线方向实际深度的逐点概率分布。我们将DeformSampler集成到一个可学习的PatchMatch MVS系统中，以增强在具有挑战性区域（如分段不连续表面边界和弱纹理区域）的深度估计。在DTU和Tanks & Temples数据集上的实验结果表明，与最先进的竞争对手相比，它具有优越的性能和泛化能力。代码可在https://github.com/Geo-Tell/DS-PMNet获取。
引用
@article{arxiv.2312.15970,
title = {Learning Deformable Hypothesis Sampling for Accurate PatchMatch Multi-View Stereo},
author = {Hongjie Li and Yao Guo and Xianwei Zheng and Hanjiang Xiong},
journal= {arXiv preprint arXiv:2312.15970},
year = {2023}
}