面向弱监督3D语义分割的多模态亲和推理
计算机视觉与模式识别
2024-01-01 v2
摘要
3D点云语义分割具有广泛的应用。近年来，提出了弱监督点云分割方法，旨在通过利用场景级标签来减轻昂贵且费力的人工标注过程。然而，这些方法未能有效利用RGB-D扫描中丰富的几何信息（如形状和尺度）和外观信息（如颜色和纹理）。此外，当前方法未能充分利用可从特征提取网络推断出的点亲和性，而这对于从弱场景级标签中学习至关重要。另外，先前的工作忽略了弱监督3D语义分割中点云数据长尾分布的不利影响。为此，本文提出了一种简单而有效的场景级弱监督点云分割方法，并引入了一个新的多模态点亲和推理模块。本文提出的点亲和性由来自多个模态（例如点云和RGB）的特征表征，并通过归一化分类器权重进一步细化，以减轻长尾分布的不利影响，而无需类别分布的先验知识。在ScanNet和S3DIS基准上的大量实验验证了我们提出方法的有效性，其在mIoU上比现有最先进方法提高了约4%至6%。代码发布在https://github.com/Sunny599/AAAI24-3DWSSG-MMA。
引用
@article{arxiv.2312.16578,
title = {Multi-modality Affinity Inference for Weakly Supervised 3D Semantic Segmentation},
author = {Xiawei Li and Qingyuan Xu and Jing Zhang and Tianyi Zhang and Qian Yu and Lu Sheng and Dong Xu},
journal= {arXiv preprint arXiv:2312.16578},
year = {2024}
}