3D-SIS：基于 RGB-D 扫描的三维语义实例分割
计算机视觉与模式识别
2019-04-30 v3
摘要
我们提出 3D-SIS，一种用于商品级 RGB-D 扫描中三维语义实例分割的新型神经网络架构。我们方法的核心思想是联合学习几何与颜色信号，从而实现准确的实例预测。我们观察到大多数计算机视觉应用都有多视角 RGB-D 输入可用，而非仅在二维帧上操作，我们利用这一点构建了一种三维实例分割方法，有效融合这些多模态输入。我们的网络基于三维重建的位姿对齐将二维图像与体素网格关联，从而利用高分辨率 RGB 输入。对于每幅图像，我们首先用一系列二维卷积提取每个像素的二维特征；然后将所得特征向量反投影到三维网格中关联的体素。这种二维与三维特征学习的结合相比最先进的替代方案实现了显著更高的目标检测与实例分割精度。我们在合成与真实世界公开基准上展示了结果，在真实世界数据上 mAP 提升超过 13。
引用
@article{arxiv.1812.07003,
title = {3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans},
author = {Ji Hou and Angela Dai and Matthias Nießner},
journal= {arXiv preprint arXiv:1812.07003},
year = {2019}
}
备注
video: https://youtu.be/IH9rNLD1-JE