基于虚拟点增强的多模态点云语义分割
计算机视觉与模式识别
2025-04-03 v1
摘要
LiDAR驱动的3D点云识别在各类应用中已证明有益。然而，稀疏性和变异密度为捕捉中等距离目标和小目标的细节构成了显著挑战。为此，我们提出一种基于虚拟点增强（VPE）的多模态点云语义分割方法，将从图像中生成的虚拟点纳入以解决上述问题。这些虚拟点密集但噪声较大，直接纳入会增加计算负担并降低性能。因此，我们引入一种基于空间差异的自适应滤波模块，依据密度和距离有选择地从这些虚拟点中提取有价值的伪点，从而增强中等距离目标的密度。随后，我们提出一种抗噪稀疏特征编码器，集成抗噪特征提取与细粒度特征增强。抗噪特征提取利用2D图像空间降低噪声点的影响，而细粒度特征增强通过内部体素邻域点聚合和下采样体素聚合来提升稀疏几何特征。在SemanticKITTI和nuScenes两大规模基准数据集上的结果表明，方法有效，引入7.7%虚拟点后在nuScenes上显著提升2.89%的mIoU。
引用
@article{arxiv.2504.01449,
title = {Multimodal Point Cloud Semantic Segmentation With Virtual Point Enhancement},
author = {Zaipeng Duan and Xuzhong Hu and Pei An and Jie Ma},
journal= {arXiv preprint arXiv:2504.01449},
year = {2025}
}