基于 SAM 伪标注与多尺度特征分组的弱监督隐蔽目标分割
计算机视觉与模式识别
2023-05-19 v1
摘要
弱监督隐蔽目标分割（WSCOS）旨在利用稀疏标注数据训练模型，以分割与周围环境高度融合的目标。该任务仍具挑战性，因为（1）由于内在相似性，隐蔽目标难以从背景中区分；（2）稀疏标注的训练数据仅为模型学习提供弱监督。本文提出一种新的 WSCOS 方法以应对这两大挑战。针对内在相似性挑战，我们设计了一个多尺度特征分组模块，先在不同粒度上对特征分组，再聚合这些分组结果。通过将相似特征分组在一起，它促进了分割一致性，有助于在单目标与多目标图像上获得完整分割结果。针对弱监督挑战，我们利用新近提出的视觉基础模型 Segment Anything Model（SAM），并使用提供的稀疏标注作为提示生成分割掩码，用以训练模型。为减轻低质量分割掩码的影响，我们进一步提出一系列策略，包括多增强结果集成、基于熵的像素级加权以及基于熵的图像级筛选。这些策略为训练分割模型提供了更可靠的监督。我们在多种 WSCOS 任务上验证了方法的有效性，实验表明我们的方法在这些任务上达到了最先进的性能。
引用
@article{arxiv.2305.11003,
title = {Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo Labeling and Multi-scale Feature Grouping},
author = {Chunming He and Kai Li and Yachao Zhang and Guoxia Xu and Longxiang Tang and Yulun Zhang and Zhenhua Guo and Xiu Li},
journal= {arXiv preprint arXiv:2305.11003},
year = {2023}
}
备注
12 pages, 5 figures