BP-MVSNet：用于多视图立体视觉的信念传播层
计算机视觉与模式识别
2020-10-26 v1
摘要
本文中，我们提出 BP-MVSNet，一种基于卷积神经网络（CNN）的多视图立体视觉（MVS）方法，其使用可微条件随机场（CRF）层进行正则化。为此，我们提出扩展 BP 层并添加在 MVS 设置中成功使用它所需的部分。因此我们展示了如何基于期望的 3D 误差计算归一化，进而用于归一化 CRF 中的标签跳跃。这是使 BP 层对 MVS 设置中不同尺度保持不变所必需的。为了也支持分数标签跳跃，我们提出一个可微插值步骤，并将其嵌入到成对项的计算中。这些扩展使我们能将 BP 层集成到多尺度 MVS 网络中，在其中我们持续改进粗糙的初始估计，直至得到高质量深度图。我们在消融研究中评估所提出的 BP-MVSNet，并在 DTU、Tanks and Temples 和 ETH3D 数据集上进行广泛实验。实验表明我们能显著超越基线并达到最先进结果。
引用
@article{arxiv.2010.12436,
title = {BP-MVSNet: Belief-Propagation-Layers for Multi-View-Stereo},
author = {Christian Sormann and Patrick Knöbelreiter and Andreas Kuhn and Mattia Rossi and Thomas Pock and Friedrich Fraundorfer},
journal= {arXiv preprint arXiv:2010.12436},
year = {2020}
}
备注
accepted at 3DV 2020