Spherical Mask：基于球面表示的由粗到细 3D 点云实例分割
计算机视觉与模式识别
2024-07-08 v2 机器学习
摘要
与近期基于分组、基于核和基于 Transformer 的方法相比，由粗到细的 3D 实例分割方法表现较差。我们认为这是由于两个局限性：1）轴对齐包围盒（AABB）对实例尺寸的过高估计；2）从不准确的框到细化阶段的假阴性误差累积。在本工作中，我们提出了 Spherical Mask，一种基于球面表示的新型由粗到细方法，克服了这两个局限性并带来若干益处。具体而言，我们的粗检测利用中心和径向距离预测，用 3D 多边形估计每个实例，从而避免了 AABB 的过度尺寸估计。为了切断现有由粗到细方法中的误差传播，我们基于多边形虚拟迁移点，允许所有前景点（包括假阴性）被细化。在推理过程中，提议模块和点迁移模块并行运行，并组装形成实例的二值掩码。我们还引入了两种基于间隔的损失函数，用于点迁移以强制纠正假阳性/阴性并增强前景点的内聚性，显著提升了性能。在 ScanNetV2、S3DIS 和 STPLS3D 三个数据集上的实验结果表明，我们提出的方法优于现有工作，证明了使用球面坐标的新型实例表示的有效性。代码获取地址：https://github.com/yunshin/SphericalMask
引用
@article{arxiv.2312.11269,
title = {Spherical Mask: Coarse-to-Fine 3D Point Cloud Instance Segmentation with Spherical Representation},
author = {Sangyun Shin and Kaichen Zhou and Madhu Vankadari and Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:2312.11269},
year = {2024}
}