面向 3D 语义分割的新类发现与基础模型的结合
计算机视觉与模式识别
2024-08-21 v2
摘要
语义分割中的新类发现（NCD）任务旨在依靠来自已标注（基类）类的可用监督信息，训练一个能够准确分割未标注（新）类的模型。尽管该任务在 2D 图像数据中已被广泛研究，但将其扩展到 3D 点云领域代表了一项开创性的工作，其具有 2D 情况下不存在的假设和挑战。本文在四个方向上推进了点云数据的分析。首先，它引入了点云语义分割的 NCD 新任务。其次，它证明了将唯一现有的 2D 图像语义分割 NCD 方法直接转换到 3D 数据会产生次优结果。第三，提出了一种基于在线聚类、不确定性估计和语义蒸馏的新 NCD 方法。最后，提出了一种新的评估协议，以严格评估点云语义分割中 NCD 的性能。通过在 SemanticKITTI、SemanticPOSS 和 S3DIS 数据集上的全面评估，本文证明了所提出的方法相对于所考虑的基线具有显著的优越性。
引用
@article{arxiv.2312.03782,
title = {Novel class discovery meets foundation models for 3D semantic segmentation},
author = {Luigi Riz and Cristiano Saltori and Yiming Wang and Elisa Ricci and Fabio Poiesi},
journal= {arXiv preprint arXiv:2312.03782},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2303.11610