通过多尺度特征对应进行自监督共显著目标检测
计算机视觉与模式识别
2024-07-04 v3
摘要
本文提出了一种新颖的两阶段自监督方法，用于在无需分割标注的情况下检测图像组中的共现显著目标（CoSOD）。与现有仅依赖图块级信息（如聚类图块描述符）或依赖计算量大的现成组件进行 CoSOD 的无监督方法不同，我们的轻量级模型利用了图块和区域两个级别的特征对应，显著提升了预测性能。在第一阶段，我们训练一个自监督网络，通过计算跨图像的局部图块级特征对应来检测共显著区域。我们使用基于置信度的自适应阈值来获取分割预测。在下一阶段，我们通过消除检测到的区域（每张图像内），即其平均特征表示与所有交叉注意力图（来自上一阶段）中平均的前景特征表示不相似的区域，来细化这些中间分割结果。在三个 CoSOD 基准数据集上的大量实验表明，我们的自监督模型以巨大优势超越了相应的最先进模型（例如，在 CoCA 数据集上，我们的模型比 SOTA 无监督 CoSOD 模型的 F-measure 高出 13.7%）。值得注意的是，我们的自监督模型在这三个测试数据集上也优于几款近期的全监督 CoSOD 模型（例如，在 CoCA 数据集上，我们的模型比一款近期的监督 CoSOD 模型的 F-measure 高出 4.6%）。
引用
@article{arxiv.2403.11107,
title = {Self-supervised co-salient object detection via feature correspondence at multiple scales},
author = {Souradeep Chakraborty and Dimitris Samaras},
journal= {arXiv preprint arXiv:2403.11107},
year = {2024}
}
备注
Accepted to ECCV 2024