细粒度零样本目标检测
计算机视觉与模式识别
2025-07-15 v1
摘要
零样本目标检测(ZSD)旨在利用语义描述来定位和识别已见类与未见类的目标。现有 ZSD 工作主要针对粗粒度目标检测,其中各类别在视觉上差异较大,因而相对易于区分。然而,在现实生活中,我们经常面临细粒度目标检测场景,其中各类别过于相似而难以区分。例如,检测不同种类的鸟、鱼和花。在本文中,我们提出并解决了一个称为细粒度零样本目标检测(简称 FG-ZSD)的新问题,其目标是在 ZSD 范式下检测具有细微差异的不同类别的目标。我们针对 FG-ZSD 任务开发了一种名为 MSHC 的有效方法,该方法基于改进的两阶段检测器,并采用多层级语义感知嵌入对齐损失,确保视觉空间与语义空间之间的紧密耦合。考虑到现有 ZSD 数据集不适合新的 FG-ZSD 任务,我们构建了首个 FG-ZSD 基准数据集 FGZSD-Birds,其中包含 148,820 张图像,涵盖 36 个目、140 个科、579 个属和 1432 个种。在 FGZSD-Birds 上的大量实验表明,我们的方法优于现有 ZSD 模型。
引用
@article{arxiv.2507.10358,
title = {Fine-Grained Zero-Shot Object Detection},
author = {Hongxu Ma and Chenbo Zhang and Lu Zhang and Jiaogen Zhou and Jihong Guan and Shuigeng Zhou},
journal= {arXiv preprint arXiv:2507.10358},
year = {2025}
}
备注
Accepted by ACM MM'25