BSNet:用于三维实例分割的框监督仿真辅助均值教师模型
计算机视觉与模式识别
2024-03-26 v1
摘要
三维实例分割(3DIS)是一项关键任务,但在全监督设置中,点级标注十分繁琐。因此,使用边界框(bboxes)作为标注已展现出巨大潜力。当前主流方法是一个两步过程,包括从框标注生成伪标签,以及使用伪标签训练3DIS网络。然而,由于边界框之间存在交集,并非每个点都有确定的实例标签,尤其是在重叠区域。为生成更高质量的伪标签并实现更精确的弱监督3DIS结果,我们提出了用于三维实例分割的框监督仿真辅助均值教师模型(BSNet),其中设计了一种名为仿真辅助Transformer的新型伪标签器。该标签器包含两个主要组件。第一个是仿真辅助均值教师模型,它首次在此任务中引入均值教师模型,并构建仿真样本以辅助标签器获取关于重叠区域的先验知识。为了更好地建模局部-全局结构,我们还提出了局部-全局感知注意力作为教师和学生标签器的解码器。在ScanNetV2和S3DIS数据集上进行的大量实验验证了我们设计的优越性。代码可在 https://github.com/peoplelu/BSNet 获取。
引用
@article{arxiv.2403.15019,
title = {BSNet: Box-Supervised Simulation-assisted Mean Teacher for 3D Instance Segmentation},
author = {Jiahao Lu and Jiacheng Deng and Tianzhu Zhang},
journal= {arXiv preprint arXiv:2403.15019},
year = {2024}
}