基于几何一致与语义感知对齐的激光雷达-相机全景分割
计算机视觉与模式识别
2023-08-15 v2 人工智能
摘要
3D 全景分割是一项具有挑战性的感知任务,需要同时进行语义分割与实例分割。在该任务中,我们注意到图像可提供丰富的纹理、颜色与判别信息,能够补充激光雷达数据以显著提升性能,但二者的融合仍是一大难题。为此,我们提出 LCPS,首个激光雷达-相机全景分割网络。在我们的方法中,分三个阶段进行激光雷达-相机融合:1)异步补偿像素对齐(ACPA)模块,校准由传感器间异步问题引起的坐标错位;2)语义感知区域对齐(SARA)模块,将一对一的点-像素映射扩展为一对多的语义关系;3)点到体素特征传播(PVP)模块,整合几何与语义融合信息以覆盖整个点云。在 NuScenes 数据集上,我们的融合策略相较仅用激光雷达的基线提升了约 6.9% 的 PQ 性能。大量定量与定性实验进一步证明了我们新框架的有效性。代码将发布于 https://github.com/zhangzw12319/lcps.git。
引用
@article{arxiv.2308.01686,
title = {LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and Semantic-Aware Alignment},
author = {Zhiwei Zhang and Zhizhong Zhang and Qian Yu and Ran Yi and Yuan Xie and Lizhuang Ma},
journal= {arXiv preprint arXiv:2308.01686},
year = {2023}
}
备注
Accepted as ICCV 2023 paper