零样本4D激光点云全景分割
计算机视觉与模式识别
2025-04-02 v1
摘要
对任意对象在激光点云中的零样本4D分割和识别对于具身化导航至关重要，此技术的应用范围涵盖流式感知、语义制图和定位等。然而，推动研究和开发用于时空场景理解的激光点云的通用、灵活方法的主要挑战在于数据稀缺，缺乏必要的多样性和规模注释。为克服这些挑战，我们提出SAL-4D（Segment Anything in Lidar--4D），该方法利用多模态机器人传感器配置作为桥梁，将最新进展的视频对象分割（VOS）与即插即用视觉语言基础模型蒸馏至激光点云。我们利用VOS模型对短视频序列中的tracklet进行伪标注，用序列级CLIP标记这些tracklet，并利用校准的多模态感知 setup 将其提升至4D激光点云空间，以蒸馏至SAL-4D模型。由于具有时序一致性预测，SAL-4D在3D零样本激光点云全景分割（LPS）上超过前艺5个PQ，并实现了零样本4D-LPS。
引用
@article{arxiv.2504.00848,
title = {Zero-Shot 4D Lidar Panoptic Segmentation},
author = {Yushan Zhang and Aljoša Ošep and Laura Leal-Taixé and Tim Meinhardt},
journal= {arXiv preprint arXiv:2504.00848},
year = {2025}
}