LeAP：利用基础模型实现一致的多域3D标注
计算机视觉与模式识别
2025-02-07 v1 机器人学
摘要
数据集的可用性是推动3D语义理解研究的重要因素。尽管获取无标注的3D点云数据相对容易，但手动为这些数据标注语义标签既耗时又昂贵。近来，视觉基础模型（VFM）实现了相机图像的开放集语义分割，有望辅助自动标注。然而，面向3D数据的VFM一直局限于2D模型的适配，这可能给3D标签引入不一致性。本文提出Label Any Pointcloud（LeAP），利用2D VFM自动为3D数据标注任意类别集合，适用于任何应用场景，同时确保标签一致性。通过贝叶斯更新，点标签被合并到体素中，以提高时空一致性。一个新颖的3D一致性网络（3D-CN）利用3D信息进一步提升标签质量。通过多项实验，我们表明，该方法无需任何手动标注，即可跨不同领域生成高质量的3D语义标签。此外，使用我们的标签适应新领域的模型，在语义分割任务中mIoU提升高达34.2。
引用
@article{arxiv.2502.03901,
title = {LeAP: Consistent multi-domain 3D labeling using Foundation Models},
author = {Simon Gebraad and Andras Palffy and Holger Caesar},
journal= {arXiv preprint arXiv:2502.03901},
year = {2025}
}
备注
9 pages, 4 figures. ICRA25 preprint