用于基于 LiDAR 的 3D 识别的球形 Transformer
计算机视觉与模式识别
2023-03-23 v1 人工智能
摘要
基于 LiDAR 的 3D 点云识别已惠及多种应用。由于未特别考虑 LiDAR 点分布，当前大多数方法存在信息断裂与感受野受限的问题，尤其是对稀疏的远处点。本工作中，我们研究 LiDAR 点的变稀疏分布，并提出 SphereFormer 以直接从密集近处点聚合信息至稀疏远处点。我们设计了径向窗口自注意力，将空间划分为多个不重叠的窄长窗口。它克服了断裂问题并平滑且显著地扩大感受野，大幅提升了稀疏远处点的性能。此外，为适配窄长窗口，我们提出指数切分以产生细粒度位置编码，以及动态特征选择以增强模型表示能力。值得注意的是，我们的方法在 nuScenes 与 SemanticKITTI 语义分割基准上分别以 81.9% 与 74.8% mIoU 排名第一。同时，我们在 nuScenes 目标检测基准上以 72.8% NDS 与 68.5% mAP 取得第 3 名。代码见 https://github.com/dvlab-research/SphereFormer.git。
引用
@article{arxiv.2303.12766,
title = {Spherical Transformer for LiDAR-based 3D Recognition},
author = {Xin Lai and Yukang Chen and Fanbin Lu and Jianhui Liu and Jiaya Jia},
journal= {arXiv preprint arXiv:2303.12766},
year = {2023}
}
备注
Accepted to CVPR 2023. Code is available at https://github.com/dvlab-research/SphereFormer.git