4D-CS:利用聚类先验的 4D 时空 LiDAR 语义分割
计算机视觉与模式识别
2025-01-07 v1
摘要
LiDAR 点云的语义分割对自动驾驶和移动机器人系统具有重要价值。大多数方法探索多扫描的时空信息以识别每个点的语义类别和运动状态。然而,这些方法常常忽略空间和时间上的分割一致性,可能导致同一物体内的点云被预测为不同类别。为解决这一问题,我们的核心思想是生成跨多帧的聚类标签,以反映物体的完整空间结构和时间信息。这些标签作为我们双分支网络 4D-CS 的显式指导,该网络融合基于点和基于聚类的分支以实现更一致的分割。具体而言,在基于点的分支中,我们利用历史知识通过多视图上的时间融合来丰富当前特征。在基于聚类分支中,我们提出一种新策略以生成前景物体的聚类标签,并将其应用于聚合逐点信息以推导聚类特征。然后,我们跨多扫描合并相邻聚类以恢复因遮挡而缺失的特征。最后,在点-聚类融合阶段,我们自适应地融合来自两个分支的信息以优化分割结果。大量实验证实了所提方法的有效性,我们在 SemanticKITTI 和 nuScenes 数据集上的多扫描语义分割和运动物体分割任务中取得了最先进的结果。代码将在 https://github.com/NEU-REAL/4D-CS.git 提供。
引用
@article{arxiv.2501.02937,
title = {4D-CS: Exploiting Cluster Prior for 4D Spatio-Temporal LiDAR Semantic Segmentation},
author = {Jiexi Zhong and Zhiheng Li and Yubo Cui and Zheng Fang},
journal= {arXiv preprint arXiv:2501.02937},
year = {2025}
}
备注
Accepted for publication at IEEE Robotics and Automation Letters (RAL)