深度引导的半监督实例分割

半监督实例分割 (SSIS) 旨在利用 unlabeled 数据进行训练。以前的框架主要利用 unlabeled 图像的 RGB 信息生成 pseudo-label。然而，这种机制常会引入不稳定的 noise，因为单个 instance 可显示多种 RGB 值。为克服这一限制，我们引入深度引导 (DG) 的 SSIS 框架。该框架使用从输入图像中提取的 depth map，这些 map 表示 individual instance 时会具有接近的 distance 值，为 distinct instance 提供精确的轮廓。与 RGB 数据不同，depth map 提供了独特的视角，其集成到 SSIS 过程中具有复杂性。为此，我们提出 Depth Feature Fusion，将深度估计提取的 feature 集成进来。该集成使模型更好地理解 depth 信息并确保其有效利用。此外，为管理训练期间 depth 图像的可变性，我们引入 Depth Controller。该组件 enables 对 depth map 进行自适应调整，增强收敛速度并动态平衡 RGB 和 depth map 之间的 loss 权重。在 COCO 和 Cityscapes 数据集上进行的大量实验验证了我们方法的有效性。我们的 approach 在 SSIS 中建立了新的 benchmark，超越了以前的方法。具体而言，我们的 DG 在 COCO 数据集上分别实现了 1%、5% 和 10% 标记数据时的 22.29%、31.47% 和 35.14% mAP。