JSIS3D：基于多任务逐点网络与多值条件随机场的 3D 点云联合语义-实例分割
计算机视觉与模式识别
2019-04-08 v2
摘要
深度学习技术已成为大多数 2D 图像视觉相关任务的首选模型。然而，其能力在 3D 空间的若干任务（如 3D 场景理解）中尚未被充分发挥。在本工作中，我们联合解决 3D 点云的语义分割与实例分割问题。具体而言，我们开发了一个多任务逐点网络，同时执行两项任务：预测 3D 点的语义类别，并将这些点嵌入到高维向量中，使得同一物体实例的点由相似的嵌入表示。随后，我们提出一个多值条件随机场模型，以融合语义与实例标签，并将语义与实例分割问题表述为该场模型中标签的联合优化问题。所提方法在包括 S3DIS 和 SceneNN 在内的不同室内场景数据集上进行了充分评估并与现有方法比较。实验结果表明，所提联合语义-实例分割方案相比其单一组件具有鲁棒性。我们的方法在语义分割上也取得了最先进的性能。
引用
@article{arxiv.1904.00699,
title = {JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields},
author = {Quang-Hieu Pham and Duc Thanh Nguyen and Binh-Son Hua and Gemma Roig and Sai-Kit Yeung},
journal= {arXiv preprint arXiv:1904.00699},
year = {2019}
}
备注
CVPR 2019 (Oral). More information at https://pqhieu.github.io/cvpr19.html