JSMNet：通过自注意力与多尺度提升室内点云语义与实例分割
计算机视觉与模式识别
2023-09-26 v2 人工智能
摘要
室内三维点云数据的语义理解对于一系列后续应用至关重要，包括室内服务机器人、导航系统与数字孪生工程。全局特征对于实现高质量的室内点云语义与实例分割至关重要，因其提供了必要的长程上下文信息。为此，我们提出 JSMNet，其将多层网络与全局特征自注意力模块相结合，以联合分割三维点云语义与实例。为更好地表达室内目标特征，我们设计了一个多分辨率特征自适应融合模块，该模块考虑了因扫描仪距目标距离不同而引起的点云密度差异。此外，我们提出了一种通过融合语义与实例特征以实现更优结果的联合语义与实例分割框架。我们在大型三维室内点云数据集 S3DIS 上进行了实验。我们将所提方法与其他方法进行比较，结果表明其在语义与实例分割上优于现有方法，并在目标局部区域分割上提供了更好的结果。具体而言，在 S3DIS（Area 5）的语义分割 mIoU 与实例分割 mPre 上，我们所提方法分别超越 PointNet（Qi et al., 2017a）16.0% 与 26.3%；此外，其分别超越 ASIS（Wang et al., 2019）6.0% 与 4.6%，以及超越 JSPNet（Chen et al., 2022）语义分割 mIoU 3.3% 且实例分割 mPre 微幅提升 0.3%。
引用
@article{arxiv.2309.07425,
title = {JSMNet Improving Indoor Point Cloud Semantic and Instance Segmentation through Self-Attention and Multiscale},
author = {Shuochen Xu and Zhenxin Zhang},
journal= {arXiv preprint arXiv:2309.07425},
year = {2023}
}