SHiNe：面向开放词汇目标检测的语义层级网络
计算机视觉与模式识别
2024-05-17 v1
摘要
开放词汇目标检测（OvOD）已将检测任务转化为语言引导模式，使用户能够在推理阶段自由定义其感兴趣的类别词汇。然而，我们的初始调查表明，现有的 OvOD 检测器在处理不同语义粒度的词汇时表现出显著的变异性，这对于实际部署构成顾虑。为此，我们引入语义层级网络（Semantic Hierarchy Nexus, SHiNe），一种新型分类器，利用来自类别层级的语义知识。它在离线模式下分为三个步骤：i）为每个目标类别检索相关的次/子类别；ii）将这些类别整合为层级感知句子；iii）融合这些句子嵌入以生成网络分类器向量。我们的评估在各种检测基准上表明，SHiNe 在不同词汇粒度方面具有更好的鲁棒性，获得最高可达 +31.9% 的 mAP50（使用真实层级），同时在使用由大型语言模型生成的层级时也能实现提升。此外，当应用于 ImageNet-1k 上的开放词汇分类时，SHiNe 将 CLIP 零样本基线提高了 +2.8% 的准确率。SHiNe 为训练-free，且可无缝集成到任何即插即用 OvOD 检测器中，推理期间不增加额外计算开销。该代码已开源。
引用
@article{arxiv.2405.10053,
title = {SHiNe: Semantic Hierarchy Nexus for Open-vocabulary Object Detection},
author = {Mingxuan Liu and Tyler L. Hayes and Elisa Ricci and Gabriela Csurka and Riccardo Volpi},
journal= {arXiv preprint arXiv:2405.10053},
year = {2024}
}
备注
Accepted as a conference paper (highlight) at CVPR 2024