PanopticFusion：在 Stuff 和 Things 层级的在线体积分割语义建图
计算机视觉与模式识别
2019-09-10 v2 机器人学
摘要
我们提出了 PanopticFusion，一种在 stuff 和 things 层级的新型在线体积分割语义建图系统。与以往的语义建图系统不同，PanopticFusion 能够密集预测背景区域（stuff）的类别标签，并单独分割任意前景物体（things）。此外，得益于其使用的空间哈希体素地图表示，我们的系统能够重建大规模场景并提取带标签的网格。我们的系统首先通过融合 2D 语义分割和实例分割的输出，为输入的 RGB 帧预测逐像素的全景标签（stuff 区域的类别标签和 things 区域的实例 ID）。预测的全景标签与深度测量值一起被整合到体素地图中，同时通过参考当前的 3D 地图来保持实例 ID 的一致性，这些实例 ID 可能会逐帧变化。此外，我们构建了一个关于全景标签的全连接条件随机场（CRF）模型以进行地图正则化。对于在线 CRF 推理，我们提出了一种新型一元势近似和地图划分策略。我们在 ScanNet (v2) 数据集上评估了系统的性能。在语义分割和实例分割基准测试中，PanopticFusion 优于或可与 state-of-the-art 的离线 3D DNN 方法相媲美。同时，我们展示了使用该系统生成的 3D 全景地图的一项具有前景的增强现实应用。
引用
@article{arxiv.1903.01177,
title = {PanopticFusion: Online Volumetric Semantic Mapping at the Level of Stuff and Things},
author = {Gaku Narita and Takashi Seno and Tomoya Ishikawa and Yohsuke Kaji},
journal= {arXiv preprint arXiv:1903.01177},
year = {2019}
}
备注
8 pages, 6 figures, Accepted to 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)