基于学习的语义多传感器深度图融合
计算机视觉与模式识别
2020-06-03 v1 机器学习
图像与视频处理
摘要
基于截断符号距离函数的体素深度图融合已成为一种标准方法，并用于许多三维重建流程中。在本文中，我们以多种方式推广了这一经典方法：1）语义：语义信息丰富了场景表示，并被纳入融合过程。2）多传感器：深度信息可来自具有非常不同噪声和离群点统计特性的不同传感器或算法，这些数据在融合时被加以考虑。3）场景去噪与补全：传感器可能在某些材质和光照条件下无法恢复深度，或由于遮挡导致数据缺失。我们的方法对几何进行去噪、填补孔洞，并为每个语义类别计算水密表面。4）学习：我们提出了一种神经网络重建方法，在单一强大框架内统一了所有这些特性。我们的方法联合学习传感器或算法特性与语义深度融合及场景补全，也可用作专家系统，例如统一各种光度立体算法的优势。我们的方法是首个统一所有这些特性的方法。在合成与真实数据集上的实验评估显示了明显的改进。
引用
@article{arxiv.1909.00703,
title = {Learned Semantic Multi-Sensor Depth Map Fusion},
author = {Denys Rozumnyi and Ian Cherabier and Marc Pollefeys and Martin R. Oswald},
journal= {arXiv preprint arXiv:1909.00703},
year = {2020}
}
备注
11 pages, 7 figures, 2 tables, accepted for the 2nd Workshop on 3D Reconstruction in the Wild (3DRW2019) in conjunction with ICCV2019