PlaneSAM：基于Segment Anything模型的多模态平面实例分割
计算机视觉与模式识别
2024-10-23 v1
摘要
从RGB-D数据进行平面实例分割是许多下游任务的关键性研究主题。然而，大多数现有的深度学习方法仅利用RGB波段内的信息，忽略了深度波段在平面实例分割中起到的重要作用。基于EfficientSAM（即SAM的一个快速版本），我们提出了一种称为PlaneSAM的平面实例分割网络，能够充分整合RGB波段（光谱波段）和D波段（几何波段）的信息，从而以多模态方式提高平面实例分割的有效性。具体而言，我们采用双复杂度主干网络，其中主要较简单的分支学习D波段特征，主要较复杂的分支学习RGB波段特征。因此，主干网络即使在D波段训练数据规模有限时，也能有效学习D波段特征表示，保留EfficientSAM的强大RGB波段特征表示，并允许对原始主干分支进行针对当前任务的微调。为了增强PlaneSAM对RGB-D领域的适应性，我们通过基于不完美伪标签的自监督预训练策略，在大规模RGB-D数据上对双复杂度主干网络进行分割任何任务的预训练。此外，我们优化了EfficientSAM的损失函数组合比率，以支持大平面的分割。另外，采用Faster R-CNN作为平面检测器，其预测的边界框被输入到我们的双复杂度网络中作为提示，从而实现平面实例的完全自动分割。实验结果表明，所提出的PlaneSAM在ScanNet数据集上达到了新的SOTA性能，在2D-3D-S、Matterport3D和ICL-NUIM RGB-D数据集上实现了对以往SOTA方法的零样本迁移性能提升，而仅增加约10%的计算开销。
引用
@article{arxiv.2410.16545,
title = {PlaneSAM: Multimodal Plane Instance Segmentation Using the Segment Anything Model},
author = {Zhongchen Deng and Zhechen Yang and Chi Chen and Cheng Zeng and Yan Meng and Bisheng Yang},
journal= {arXiv preprint arXiv:2410.16545},
year = {2024}
}
备注
submitted to Information Fusion