基于 LiDAR 的 4D 全景分割：动态偏移网络
计算机视觉与模式识别
2022-03-15 v1
摘要
随着自动驾驶的快速发展，为其感知系统配备更全面的 3D 感知变得至关重要。然而，现有工作侧重于从 LiDAR 传感器解析物体（如汽车和行人）或场景（如树木和建筑物）。在本工作中，我们处理基于 LiDAR 的全景分割任务，旨在以统一方式解析物体与场景。作为面向这一新挑战任务的首批尝试之一，我们提出动态偏移网络（DS-Net），它作为点云领域中一种有效的全景分割框架。具体而言，DS-Net 具有三个引人注目的特性：1）强主干设计。DS-Net 采用专为 LiDAR 点云设计的圆柱卷积。2）针对复杂点分布的动态偏移。我们观察到常用聚类算法无法处理具有非均匀点云分布和变化实例尺寸的复杂自动驾驶场景。因此，我们提出一种高效可学习聚类模块——动态偏移，其按需为不同实例自适应核函数。3）向 4D 预测的扩展。此外，我们通过对齐 LiDAR 帧上的时间统一实例聚类将 DS-Net 扩展至 4D 全景 LiDAR 分割。为全面评估基于 LiDAR 的全景分割性能，我们从两个大规模自动驾驶 LiDAR 数据集 SemanticKITTI 和 nuScenes 构建并整理基准。大量实验表明，我们提出的 DS-Net 在两项任务中均优于当前最先进（SOTA）方法。值得注意的是，在该任务的单帧版本中，我们在 PQ 指标上以 1.8% 优于 SOTA 方法；在任务的 4D 版本中，我们在 LSTQ 指标上超越第二名 5.4%。
引用
@article{arxiv.2203.07186,
title = {LiDAR-based 4D Panoptic Segmentation via Dynamic Shifting Network},
author = {Fangzhou Hong and Hui Zhou and Xinge Zhu and Hongsheng Li and Ziwei Liu},
journal= {arXiv preprint arXiv:2203.07186},
year = {2022}
}
备注
Extension of arXiv:2011.11964; Source code at https://github.com/hongfz16/DS-Net