面向点云联合实例与语义分割的自预测方法
计算机视觉与模式识别
2020-07-28 v1 图形学
摘要
我们提出了一种名为自预测（Self-Prediction）的新颖学习方案，用于点云的 3D 实例与语义分割。与大多数聚焦于设计卷积算子的现有方法不同，我们的方法设计了一种新的学习方案以增强点关系探索，从而实现更好的分割。更具体地，我们将一个点云样本划分为两个子集，并基于其表示构建完全图。然后，在给定另一子集标签的情况下，我们使用标签传播算法预测其中一个子集的标签。通过以该自预测任务进行训练，骨干网络被约束以充分探索关系上下文/几何/形状信息，并学习更具判别力的特征用于分割。此外，我们设计了一个配备自预测方案的通用关联框架，用于同时增强实例与语义分割，其中实例与语义表示被结合以执行自预测。通过这种方式，实例与语义分割相互协作并彼此强化。在 S3DIS 和 ShapeNet 上，相比基线，实例与语义分割均取得了显著的性能提升。当我们仅采用 PointNet++ 作为骨干网络时，我们的方法在 S3DIS 上取得了最先进的实例分割结果，并在 S3DIS 和 ShapeNet 上取得了与最先进方法相当的语义分割结果。
引用
@article{arxiv.2007.13344,
title = {Self-Prediction for Joint Instance and Semantic Segmentation of Point Clouds},
author = {Jinxian Liu and Minghui Yu and Bingbing Ni and Ye Chen},
journal= {arXiv preprint arXiv:2007.13344},
year = {2020}
}
备注
Accepted to ECCV 2020