SSFam：基于 SAM 的绘图监督显著物体检测族

绘图监督显著物体检测（SSSOD）在绘图标签监督下构建对周围环境中吸引性对象的分割能力。为了更好的分割，深度和热红外模态作为 RGB 图像在复杂场景中的补充。现有方法为 RGB、RGB-Depth、RGB-Thermal 和 Visual-Depth-Thermal 图像输入分别设计 various feature 提取和多模态融合策略，导致模型浪涌。近期提出的 Segment Anything Model（SAM）具有惊人的分割和提示交互能力，我们基于 SAM 提出一个 SSSOD 家族，命名为 SSFam，用于不同模态的组合输入。首先，设计不同的模态感知调制器以获得模态特定的知识，这与从冻结的 SAM 编码器中提取的模态无关信息合作以获得更好的特征集合。其次，量身打造一个 siamese 解码器，以弥合使用绘图提示训练与使用无提示测试之间的差距，以获得更强的解码能力。我们的模型在不同模态组合方面表现出色，刷新了绘图监督方法的最高水平，接近完全监督方法的水平。