面向少样本与零样本三维点云语义分割的原型适配与投影
计算机视觉与模式识别
2023-06-21 v1
摘要
在本工作中，我们解决少样本和零样本三维点云语义分割这一挑战性任务。二维计算机视觉中少样本语义分割的成功主要由在ImageNet等大规模数据集上的预训练驱动。在大规模二维数据集上预训练的特征提取器极大助力了二维少样本学习。然而，由于三维数据收集与标注的高昂成本，三维深度学习的发展受限于数据集的有限规模与实例模态。这导致少样本三维点云分割的特征代表性不足和类内特征差异大。因此，直接将现有的流行二维少样本分类/分割原型方法扩展到三维点云分割，无法像在二维领域那样良好工作。为解决此问题，我们提出查询引导原型适配（QGPA）模块，将原型从支持点云特征空间适配到查询点云特征空间。通过此种原型适配，我们极大缓解了点云中类内特征差异大的问题，并显著提升了少样本三维分割性能。此外，为增强原型的表征，我们引入自重建（SR）模块，使原型能尽可能重建支持掩码。而且，我们进一步考虑无支持样本的零样本三维点云语义分割。为此，我们引入类别词作为语义信息，并提出语义-视觉投影模型以桥接语义与视觉空间。我们提出的方法在S3DIS和ScanNet基准的2-way 1-shot设定下分别以可观的7.90%和14.82%超越最先进算法。代码可在 https://github.com/heshuting555/PAP-FZS3D 获取。
引用
@article{arxiv.2305.14335,
title = {Prototype Adaption and Projection for Few- and Zero-shot 3D Point Cloud Semantic Segmentation},
author = {Shuting He and Xudong Jiang and Wei Jiang and Henghui Ding},
journal= {arXiv preprint arXiv:2305.14335},
year = {2023}
}
备注
IEEE TIP