结合单视图语义网格优化的多视图立体
计算机视觉与模式识别
2017-08-28 v2
摘要
虽然 3D 重建是一个成熟且被广泛探索的研究课题，但语义 3D 重建直到最近才受到计算机视觉界越来越多的关注。事实上，语义标注允许施加强依赖于类别的先验，例如地面和墙壁的平面性，这可以用来优化重建，通常能带来显著的性能提升。最先进的方法提出使用体积方法将 RGB 图像数据与语义标签融合；尽管取得了成功，但它们扩展性不佳，且无法输出高分辨率网格。在本文中，我们提出了一种新方法，用于同时优化给定网格的几何形状和语义标注。我们应用变分方法优化由最先进的成对光度项和对 3D 网格标签与分割图像标签之间的语义一致性进行建模的单视图项组成的复合能量，从而优化网格几何。我们还通过一种新颖的 Markov 随机场（MRF）公式更新语义标注，该公式除了包含经典的数据项和平滑项外，还考虑了直接从标注网格估计的特定类别先验。这与通常基于手工设计或学习先验的最先进方法形成对比。我们是首批（与 [M. Blaha et al arXiv:1706.08336, 2017] 非常近期且具开创性的工作同时）提出在网格优化框架内使用语义的团队。与 [M. Blaha et al arXiv:1706.08336, 2017] 采用更经典的成对比较来估计网格流不同，我们在语义标注图像与当前 3D 网格标签之间应用单视图比较；这在分割存在噪声的情况下提高了鲁棒性。
引用
@article{arxiv.1708.04907,
title = {Multi-View Stereo with Single-View Semantic Mesh Refinement},
author = {Andrea Romanoni and Marco Ciccone and Francesco Visin and Matteo Matteucci},
journal= {arXiv preprint arXiv:1708.04907},
year = {2017}
}
备注
{\pounds}D Reconstruction Meets Semantic, ICCV workshop