具有自适应视图聚合的金字塔多视图立体网络
计算机视觉与模式识别
2020-07-22 v2
摘要
本文中，我们提出一种有效且高效的具有自适应视图聚合的金字塔多视图立体（MVS）网络，用于准确且完整的稠密点云重建。与先前基于深度学习的 MVS 方法中使用均方方差生成代价体不同，我们的 \textbf{VA-MVSNet} 通过引入两种新颖的自适应视图聚合——像素级视图聚合与体素级视图聚合，以极小的额外内存消耗融合了不同视图中的代价方差。为了进一步提升 3D 点云重建的鲁棒性与完整性，我们将 VA-MVSNet 扩展为以金字塔多尺度图像作为输入的网络 \textbf{PVA-MVSNet}，其中利用多度量约束将粗尺度上可靠深度估计聚合以填补细尺度上的失配区域。实验结果表明，我们的方法在 \textsl{\textbf{DTU}} 数据集上确立了新的最先进水平，在完整性与整体质量上均有显著提升，并通过在 \textsl{\textbf{Tanks and Temples}} 基准上取得与最先进方法相当的性能而展现出强泛化能力。我们的代码库位于 \hyperlink{https://github.com/yhw-yhw/PVAMVSNet}{https://github.com/yhw-yhw/PVAMVSNet}
引用
@article{arxiv.1912.03001,
title = {Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation},
author = {Hongwei Yi and Zizhuang Wei and Mingyu Ding and Runze Zhang and Yisong Chen and Guoping Wang and Yu-Wing Tai},
journal= {arXiv preprint arXiv:1912.03001},
year = {2020}
}
备注
Accepted by ECCV2020 as a Poster