语义信息驱动的多视图表面细化
计算机视觉与模式识别
2017-06-27 v1
摘要
我们提出了一种联合细化 3D 表面网格几何形状和语义分割的方法。我们的方法在更新形状和语义标签之间交替进行。在几何细化步骤中，通过变分能量最小化对网格进行变形，使其在一组标定图像上同时最大化照片一致性和跨图像的语义分割兼容性。特定于标签的形状先验解释了 3D 中几何形状与语义标签之间的相互作用。在语义分割步骤中，利用 MRF 推断更新网格上的标签，使其与输入图像中的语义分割兼容。此外，该步骤还包括关于不同语义类别表面形状的先验假设。这些先验诱导了紧密耦合，其中语义信息影响形状更新，反之亦然。具体而言，我们引入了有利于以下情况的先验：(i) 取决于类别标签的自适应平滑；(ii) 类别边界的直线性；以及 (iii) 与表面方向一致的语义标签。我们在一系列包含真实和合成数据的实验中评估了这种新颖的基于网格的重建方法。我们将该方法与最先进的基于体素的语义 3D 重建以及纯几何网格细化进行了比较，并证明了所提出的方案能产生改进的 3D 几何形状以及改进的语义分割。
引用
@article{arxiv.1706.08336,
title = {Semantically Informed Multiview Surface Refinement},
author = {Maros Blaha and Mathias Rothermel and Martin R. Oswald and Torsten Sattler and Audrey Richard and Jan D. Wegner and Marc Pollefeys and Konrad Schindler},
journal= {arXiv preprint arXiv:1706.08336},
year = {2017}
}