基于分层视觉-语言知识蒸馏的开放词汇单阶段检测
计算机视觉与模式识别
2022-03-22 v1
摘要
开放词汇目标检测旨在检测训练集之外的新颖物体类别。先进的开放词汇两阶段检测器采用实例级视觉到视觉知识蒸馏，将检测器的视觉空间与预训练视觉-语言模型 (PVLM) 的语义空间对齐。然而，在更高效的单阶段检测器中，无类别无关的候选目标框阻碍了在未见物体上的知识蒸馏，导致严重的性能下降。本文提出一种分层视觉-语言知识蒸馏方法，即 HierKD，用于开放词汇单阶段检测。具体地，探索全局级知识蒸馏将未见类别的知识从 PVLM 迁移到检测器。此外，我们将提出的全局级知识蒸馏与常见的实例级知识蒸馏结合，以同时学习可见与未见类别的知识。在 MS-COCO 上的大量实验表明，我们的方法在零样本检测和广义零样本检测设定下分别以 11.9% 和 6.7% 的 增益显著超越先前最佳单阶段检测器，并且相较于最佳两阶段检测器将 性能差距从 14% 缩小到 7.3%。
引用
@article{arxiv.2203.10593,
title = {Open-Vocabulary One-Stage Detection with Hierarchical Visual-Language Knowledge Distillation},
author = {Zongyang Ma and Guan Luo and Jin Gao and Liang Li and Yuxin Chen and Shaoru Wang and Congxuan Zhang and Weiming Hu},
journal= {arXiv preprint arXiv:2203.10593},
year = {2022}
}