基于涂鸦标注的弱监督伪装目标检测
计算机视觉与模式识别
2022-11-29 v2
摘要
现有伪装目标检测（COD）方法严重依赖带有像素级标注的大规模数据集。然而，由于边界模糊，像素级标注伪装目标非常耗时耗力，标注一幅图像约需 60 分钟。本文提出首个弱监督 COD 方法，以涂鸦标注作为监督。为此，我们首先用涂鸦重新标注现有伪装目标数据集中的 4040 幅图像，标注一幅图像约需 10 秒。由于涂鸦标注仅描述目标主体结构而无细节，为使网络学习定位伪装目标边界，我们提出一种由两部分组成的新颖一致性损失：跨视图损失以获取不同图像间的可靠一致性，以及视图内损失以维持单张预测图内部的一致性。此外，我们观察到人类利用语义信息分割伪装目标边界附近区域。因此，我们进一步提出特征引导损失，其包含直接从图像提取的视觉特征以及由模型捕获的语义显著特征。最后，我们提出一种新颖的 COD 网络，通过涂鸦学习结构信息与语义关系。我们的网络具有两个新颖模块：局部上下文对比（LCC）模块，其模拟视觉抑制以增强图像对比度/锐度并将涂鸦扩展至潜在伪装区域；以及逻辑语义关系（LSR）模块，其分析语义关系以确定代表伪装目标的区域。实验结果表明，我们的模型在三个 COD 基准上优于相关 SOTA 方法，MAE 平均提升 11.0%、S-measure 提升 3.2%、E-measure 提升 2.5%、加权 F-measure 提升 4.4%。
引用
@article{arxiv.2207.14083,
title = {Weakly-Supervised Camouflaged Object Detection with Scribble Annotations},
author = {Ruozhen He and Qihua Dong and Jiaying Lin and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2207.14083},
year = {2022}
}
备注
Accepted to AAAI 2023. The code and dataset are available at https://github.com/dddraxxx/Weakly-Supervised-Camouflaged-Object-Detection-with-Scribble-Annotations