pCTFusion：基于语义感知损失的点卷积-Transformer 融合用于室外 LiDAR 点云分割
计算机视觉与模式识别
2023-08-01 v2
摘要
LiDAR 生成的点云对于感知室外环境至关重要。点云分割对于许多应用也是必不可少的。以往研究侧重于在语义分割架构中单独使用自注意力与卷积(局部注意力)机制。然而，结合这些注意力机制所学表征以提升性能的工作有限。此外，现有将卷积与自注意力结合的研究依赖于全局注意力，这对于处理大型点云并不实用。为应对这些挑战，本研究提出一种新架构 pCTFusion，其结合基于核的卷积与自注意力机制，以在分割中更好地进行特征学习并捕获局部与全局依赖。所提架构根据编码器块的分层位置采用局部与全局两类自注意力机制。此外，现有损失函数未考虑点的语义与位置重要性，导致精度下降，尤其在尖锐的类别边界处。为此，本研究建模了一种新颖的基于注意力的损失函数，称为逐点几何各向异性(PGA)，其根据邻域内点的语义分布分配权重。所提架构在 SemanticKITTI 室外数据集上进行了评估，相比最先进架构表现出 5-7% 的性能提升。对于因类别不平衡、空间缺乏和邻域感知特征编码而常被误分的小类，结果尤为鼓舞人心。这些已开发方法可用于复杂数据集的分割，并推动 LiDAR 点云的实际应用。
引用
@article{arxiv.2307.14777,
title = {pCTFusion: Point Convolution-Transformer Fusion with Semantic Aware Loss for Outdoor LiDAR Point Cloud Segmentation},
author = {Abhishek Kuriyal and Vaibhav Kumar and Bharat Lohani},
journal= {arXiv preprint arXiv:2307.14777},
year = {2023}
}
备注
22 pages, 8 Figures, 5 Tables