图像理解点云:基于关联学习的弱监督三维语义分割
计算机视觉与模式识别
2022-09-19 v1
摘要
弱监督点云语义分割方法仅需 1% 或更少的标签,希望实现与全监督方法几乎相同的性能,近来引起了广泛的研究关注。该框架中的典型解决方案是使用自训练或伪标签从点云自身挖掘监督,却忽略了来自图像的关键信息。事实上,相机广泛存在于 LiDAR 场景中,这种互补信息对三维应用似乎极为重要。本文中,我们提出一种新颖的跨模态弱监督三维分割方法,融合来自无标签图像的互补信息。基本上,我们设计了一个配备主动标注策略的双分支网络,以最大化微小部分标签的作用并直接实现 2D 到 3D 的知识迁移。之后,我们从期望最大化(EM)视角建立跨模态自训练框架,在伪标签估计和参数更新之间迭代。在 M 步中,我们提出跨模态关联学习,通过强化 3D 点与 2D 超像素之间的循环一致性,从图像中挖掘互补监督。在 E 步中,导出伪标签自校正机制以过滤噪声标签,从而为网络提供更准确的标签以充分训练。广泛的实验结果表明,我们的方法甚至以少于 1% 主动选择的标注优于最先进的(state-of-the-art, SOTA)全监督竞争者。
引用
@article{arxiv.2209.07774,
title = {Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning},
author = {Tianfang Sun and Zhizhong Zhang and Xin Tan and Yanyun Qu and Yuan Xie and Lizhuang Ma},
journal= {arXiv preprint arXiv:2209.07774},
year = {2022}
}