AutoInst:基于实例的 LiDAR 三维扫描自动分割
计算机视觉与模式识别
2024-08-30 v2
摘要
近年来,LiDAR 传感器等采集设备的进步使得对日益广阔的三维室外环境进行感知成为可能。理解此类三维采集数据需要细粒度的场景理解,例如构建基于实例的三维场景分割。通常,针对该任务训练一个神经网络;然而,这需要访问大规模、密集标注的数据集,而众所周知,获取此类数据集极具挑战性。为解决这一问题,本文提出以无监督方式预测三维场景的实例分割,不依赖任何真值标注。为此,我们构建了一个由两部分组成的学习框架:(1) 用于生成初始无监督伪标签的伪标注方案;(2) 用于从初始含噪候选中拟合出鲁棒、准确实例的实例分割自训练算法。为生成三维实例掩膜候选,我们通过融合多模态图像与基于点的自监督特征的边连接三维点,构建加权代理图,并执行图割以分离各个伪实例。随后,我们基于一种先进的基于点的架构训练三维实例分割模型,从而显著优化初始候选。为使算法可扩展到任意复杂度的三维场景,我们将算法设计为在局部三维点块上运行,并设计合并步骤以生成场景级的实例分割。在具有挑战性的 SemanticKITTI 基准上的实验表明了我们方法的潜力:相较于表现最佳的基线,我们的方法在平均精度上提升了 13.3%,在 F1 分数上提升了 9.1%。代码将在 https://github.com/artonson/autoinst 公开。
引用
@article{arxiv.2403.16318,
title = {AutoInst: Automatic Instance-Based Segmentation of LiDAR 3D Scans},
author = {Cedric Perauer and Laurenz Adrian Heidrich and Haifan Zhang and Matthias Nießner and Anastasiia Kornilova and Alexey Artemov},
journal= {arXiv preprint arXiv:2403.16318},
year = {2024}
}
备注
8 pages, 7 figures, to be published in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2024