CPCM：用于弱监督点云语义分割的上下文点云建模
计算机视觉与模式识别
2023-07-21 v1 图像与视频处理
摘要
我们研究具有稀疏标注的弱监督点云语义分割任务（例如，少于0.1%的点被标注），旨在降低密集标注的高昂成本。遗憾的是，在标注点极度稀疏的情况下，很难提取用于场景理解（如语义分割）的上下文与物体信息。受图像与视频表示学习中掩码建模（如MAE）的启发，我们试图赋予掩码建模从稀疏标注点中学习上下文信息的能力。然而，直接将MAE应用于带稀疏标注的3D点云可能失效。首先，从3D点云中有效掩码掉信息性视觉上下文并非易事。其次，如何充分利用稀疏标注进行上下文建模仍是一个开放问题。本文提出一种简单而有效的上下文点云建模（CPCM）方法，由两部分组成：区域级掩码（RegionMask）策略与上下文掩码训练（CMT）方法。具体而言，RegionMask在几何空间中对点云进行连续掩码，以构建有意义的掩码预测任务用于后续上下文学习。CMT将监督分割学习与无监督掩码上下文预测的学习解耦，分别有效学习极有限的标注点与大量未标注点。在广泛测试的ScanNet V2与S3DIS基准上的大量实验证明了CPCM优于当前最优方法。
引用
@article{arxiv.2307.10316,
title = {CPCM: Contextual Point Cloud Modeling for Weakly-supervised Point Cloud Semantic Segmentation},
author = {Lizhao Liu and Zhuangwei Zhuang and Shangxin Huang and Xunlong Xiao and Tianhang Xiang and Cen Chen and Jingdong Wang and Mingkui Tan},
journal= {arXiv preprint arXiv:2307.10316},
year = {2023}
}
备注
Accepted by ICCV 2023