SAM-COD: 基于 SAM 的弱监督伪装目标检测统一框架
计算机视觉与模式识别
2024-08-21 v1 人工智能
摘要
大多数伪装目标检测（COD）方法严重依赖掩膜标注，而获取这些标注耗时且劳动密集。现有的弱监督 COD 方法在性能上显著劣于全监督方法，并且难以同时支持所有现有的伪装目标标签类型，包括涂鸦、边界框和点。即使是分割任意模型（SAM），在处理弱监督 COD 时仍然存在问题，通常会遇到涂鸦标签的提示兼容性、极端响应、语义错误响应和不稳定特征表示等挑战，从而在伪装场景中产生不理想的结果。为缓解这些问题，本文提出了一种统一的 COD 框架 SAM-COD，能够支持任意弱监督标签。我们的 SAM-COD 采用提示适配器基于 SAM 处理涂鸦作为提示。同时，我们引入了响应滤波器和语义匹配器模块，以提升 SAM 在 COD 提示下获取的掩膜质量。为减轻不准确掩膜预测的负面影响，采用了一种新的提示自适应知识蒸馏策略，以确保可靠的特征表示。为验证我们方法的有效性，我们在三个主流 COD 基准上进行了广泛的实证实验。结果表明，我们的方法在性能上优于最先进的弱监督甚至全监督方法。
引用
@article{arxiv.2408.10760,
title = {SAM-COD: SAM-guided Unified Framework for Weakly-Supervised Camouflaged Object Detection},
author = {Huafeng Chen and Pengxu Wei and Guangqian Guo and Shan Gao},
journal= {arXiv preprint arXiv:2408.10760},
year = {2024}
}
备注
Accepted by ECCV2024