基于 LiDAR 的全景分割 via 动态偏移网络
计算机视觉与模式识别
2020-12-02 v2
摘要
随着自动驾驶的快速发展，为其感知系统配备更全面的 3D 感知变得至关重要。然而，现有工作侧重于从 LiDAR 传感器解析物体（如汽车与行人）或场景（如树木与建筑）之一。在本工作中，我们处理基于 LiDAR 的全景分割任务，旨在以统一方式同时解析物体与场景。作为面向这一新挑战任务的首批尝试之一，我们提出动态偏移网络（DS-Net），它作为点云领域一种有效的全景分割框架。具体而言，DS-Net 具有三个引人瞩目的特性：1）强主干设计。DS-Net 采用专为 LiDAR 点云设计的柱面卷积。提取的特征由语义分支和以自底向上聚类风格运行的实例分支共享。2）针对复杂点分布的动态偏移。我们观察到常用聚类算法如 BFS 或 DBSCAN 无法处理具有非均匀点云分布与变化实例尺寸的复杂自动驾驶场景。因此，我们提出一种高效可学习聚类模块——动态偏移，其按需为不同实例自适应核函数。3）共识驱动融合。最后，共识驱动融合用于处理语义与实例预测间的不一致。为全面评估基于 LiDAR 的全景分割性能，我们从两个大规模自动驾驶 LiDAR 数据集 SemanticKITTI 与 nuScenes 构建并整理基准。大量实验表明，我们提出的 DS-Net 优于当前最先进方法。值得注意的是，我们在 SemanticKITTI 公开排行榜上取得第 1 名，以 PQ 指标超越第 2 名 2.6%。
引用
@article{arxiv.2011.11964,
title = {LiDAR-based Panoptic Segmentation via Dynamic Shifting Network},
author = {Fangzhou Hong and Hui Zhou and Xinge Zhu and Hongsheng Li and Ziwei Liu},
journal= {arXiv preprint arXiv:2011.11964},
year = {2020}
}
备注
Rank 1st place in the leaderboard of SemanticKITTI Panoptic Segmentation (accessed at 2020-11-16); Codes at https://github.com/hongfz16/DS-Net