MeshMVS：多视图立体引导的网格重建
计算机视觉与模式识别
2021-04-13 v3 机器学习
图像与视频处理
摘要
基于深度学习的 3D 形状生成方法通常利用从彩色图像提取的潜在特征来编码物体语义并引导形状生成过程。这些彩色图像语义仅隐式编码 3D 信息，可能限制生成形状的精度。本文提出一种多视图网格生成方法，通过利用多视图立体中间深度表示的特征并针对这些深度图像对 3D 形状进行正则化，显式地引入几何信息。首先，我们的系统通过概率合并各视图预测的体素占据网格，从彩色图像预测粗 3D 体。然后将多视图立体的深度图像与粗形状的渲染深度图像作为对比输入，其特征通过一系列图卷积网络引导粗形状的细化。值得注意的是，我们在 ShapeNet 数据集上以对真值的 Chamfer 距离减少 34% 和 F1-score 提升 14% 取得了优于最先进多视图形状生成方法的结果。我们的源代码见于 https://git.io/Jmalg
引用
@article{arxiv.2010.08682,
title = {MeshMVS: Multi-View Stereo Guided Mesh Reconstruction},
author = {Rakesh Shrestha and Zhiwen Fan and Qingkun Su and Zuozhuo Dai and Siyu Zhu and Ping Tan},
journal= {arXiv preprint arXiv:2010.08682},
year = {2021}
}