野外场景三维图结构点云的弱监督语义分割
计算机视觉与模式识别
2020-05-19 v2
摘要
三维分割标签的匮乏是点云有效分割的主要障碍之一，尤其是对于包含多种不同物体的野外场景。为缓解此问题，我们提出了一种基于深度图卷积网络的新框架，用于仅以二维监督对点云进行大规模语义场景分割。与众多聚焦于单物体点云的多视图监督方法不同，我们认为二维监督能够为自然场景点云的三维语义分割模型训练提供充分的引导信息，而无需显式捕获其内在结构，即使每个训练样本仅使用单视图。具体而言，设计了一个基于图的金字塔特征网络（GPFN）来隐式推断点集的全局与局部特征，并引入可观测性网络（OBSNet）以进一步解决三维场景中物体复杂空间关系导致的物体遮挡问题。在投影过程中，提出了透视渲染与语义融合模块以提供精细的二维监督信号用于训练，并辅以二维-三维联合优化策略。大量实验结果表明，我们的二维监督框架在流行的 SUNCG 合成数据集和 S3DIS 真实世界数据集上的语义点云分割任务中取得了与采用完整三维标签训练的当前最优方法相当的结果。
引用
@article{arxiv.2004.12498,
title = {Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes},
author = {Haiyan Wang and Xuejian Rong and Liang Yang and Jinglun Feng and Jizhong Xiao and Yingli Tian},
journal= {arXiv preprint arXiv:2004.12498},
year = {2020}
}
备注
13 pages, 8 figures, Under review as a journal paper at CVIU