从基于渲染的增强视角重新思考多视图立体视觉
计算机视觉与模式识别
2023-03-14 v1
摘要
GigaMVS 因其大尺度、复杂遮挡与十亿像素图像，对现有多视图立体视觉（MVS）算法提出了若干挑战。为解决这些问题，我们首先应用最先进的基于学习的 MVS 方法之一——MVSFormer，以克服传统 PatchMatch 方法所困扰的无纹理与反射区域等棘手场景，但其在少数大场景重建中失败。此外，利用 ACMMP、OpenMVS 与 RealityCapture 等传统 PatchMatch 算法进一步提升大场景的完整性。进而，为统一深度学习方法与传统 PatchMatch 两者的优势，我们提出渲染深度与彩色图像以进一步微调 MVSFormer 模型。值得注意的是，我们发现由于光照一致，MVS 方法通过渲染图像可给出好得多的预测，我们认为这对 MVS 领域意义重大。因此，MVSFormer 能够泛化至大尺度场景并互补地解决无纹理重建问题。最后，我们整合了上述所有点云（除来自 RealityCapture 者外），并在竞争性的 GigaReconstruction 上排名 Top-1。
引用
@article{arxiv.2303.06418,
title = {Rethinking the Multi-view Stereo from the Perspective of Rendering-based Augmentation},
author = {Chenjie Cao and Xinlin Ren and Xiangyang Xue and Yanwei Fu},
journal= {arXiv preprint arXiv:2303.06418},
year = {2023}
}
备注
This is a technical report of team Ewrfcas (Fudan University) in the GigaMVS reconstruction competition. Our method achieved the 1st performance in the 2022 reconstruction benchmark