2DPASS：基于二维先验辅助的LiDAR点云语义分割
计算机视觉与模式识别
2022-10-17 v3
摘要
由于相机与LiDAR传感器在自动驾驶中捕获互补信息，人们已做出大量努力通过多模态数据融合来开发语义分割算法。然而，基于融合的方法需要成对数据，即具有严格点至像素映射的LiDAR点云与相机图像，作为训练与推理的输入，这严重阻碍了其在实际场景中的应用。因此，在本工作中，我们提出2D先验辅助语义分割（2DPASS），一种通用训练方案，通过充分利用具有丰富外观的2D图像来促进点云上的表示学习。在实践中，通过借助辅助模态融合与多尺度融合到单一知识蒸馏（MSFSKD），2DPASS从多模态数据中获取更丰富的语义与结构信息，随后在线蒸馏至纯3D网络。结果表明，配备2DPASS后，我们的基线仅以单一点云输入即取得显著提升。具体而言，其在两个大规模基准（即SemanticKITTI与NuScenes）上达到最优性能，包括在SemanticKITTI的单次与多次扫描竞赛中均获第一名。
引用
@article{arxiv.2207.04397,
title = {2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds},
author = {Xu Yan and Jiantao Gao and Chaoda Zheng and Chao Zheng and Ruimao Zhang and Shenghui Cui and Zhen Li},
journal= {arXiv preprint arXiv:2207.04397},
year = {2022}
}
备注
ECCV2022