OV-MAP：面向机器人的开放词汇零样本三维实例分割地图
计算机视觉与模式识别
2025-06-16 v1 人工智能
摘要
我们提出 OV-MAP，一种面向移动机器人的开放世界三维建图新方法，通过将开放特征集成到三维地图中以增强目标识别能力。当相邻体素的重叠特征降低实例级精度时，会出现一个重大挑战，因为特征会溢出体素边界，将相邻区域混合在一起。我们的方法通过采用类别无关的分割模型将二维掩码投影到三维空间，并结合由点云的原始深度与合成深度融合而成的补充深度图像来克服这一问题。该方法配合三维掩码投票机制，能够在无需依赖三维监督分割模型的情况下实现精确的零样本三维实例分割。我们通过在 ScanNet200 和 Replica 等公开数据集上的全面实验评估了本方法的有效性，展示了优越的零样本性能、鲁棒性和跨多样环境的适应能力。此外，我们进行了真实世界实验，以展示本方法在应用于多样化真实环境时的适应性和鲁棒性。
引用
@article{arxiv.2506.11585,
title = {OV-MAP : Open-Vocabulary Zero-Shot 3D Instance Segmentation Map for Robots},
author = {Juno Kim and Yesol Park and Hye-Jung Yoon and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:2506.11585},
year = {2025}
}
备注
Accepted at IROS 2024