用于激光雷达点云语义分割的球锥台稀疏卷积网络
计算机视觉与模式识别
2024-10-29 v2
摘要
激光雷达点云语义分割使机器人能够获得周围环境的细粒度语义信息。近来，许多工作将点云投影到 2D 图像上，并采用 2D 卷积神经网络（CNNs）或视觉 transformer 进行激光雷达点云语义分割。然而，由于多个点可能被投影到同一 2D 位置而仅能保留一个点，先前基于 2D 图像的方法面临不可避免的量化信息损失。为避免量化信息损失，本文提出一种新颖的球锥台结构。投影到同一 2D 位置的点被保留在球锥台中。此外，我们提出了一种内存高效的基于哈希的球锥台表示。通过该基于哈希的表示，我们提出球锥台稀疏卷积（SFC）与锥台快速点采样（F2PS），分别对存储在球锥台中的点进行卷积与采样。最后，我们提出球锥台稀疏卷积网络（SFCNet），以在无量化信息损失的情况下采用 2D CNNs 进行激光雷达点云语义分割。在 SemanticKITTI 与 nuScenes 数据集上的大量实验表明，我们的 SFCNet 优于基于常规球面投影的 2D 图像语义分割方法。代码将发布于 https://github.com/IRMVLab/SFCNet。
引用
@article{arxiv.2311.17491,
title = {Spherical Frustum Sparse Convolution Network for LiDAR Point Cloud Semantic Segmentation},
author = {Yu Zheng and Guangming Wang and Jiuming Liu and Marc Pollefeys and Hesheng Wang},
journal= {arXiv preprint arXiv:2311.17491},
year = {2024}
}
备注
Accepted by NeurIPS 2024