利用图像标签增强零样本检测训练
计算机视觉与模式识别
2023-06-13 v1 人工智能
摘要
零样本检测（ZSD），即在训练时未见过的类上的检测，对现实世界的检测应用至关重要，但仍是一项困难任务。近期研究尝试使用输出嵌入而非直接类标签的检测模型来实现 ZSD。为此，检测模型的输出必须与如 CLIP 等已学习的嵌入空间对齐。然而，与图像分类标注相比，检测数据集制作成本高昂，以及训练数据中由此导致的类别多样性缺乏，阻碍了这一对齐。我们通过结合 CLIP 嵌入空间与来自 ImageNet 的图像标签来应对该挑战。我们的结果表明，图像标签能够更好地将检测器输出对齐到嵌入空间，从而具有很高的 ZSD 潜力。与仅在检测数据上训练相比，我们在 COCO 的 65/15 划分的未见类上通过添加图像标签数据看到了 3.3 mAP 的显著增益，即我们将相关工作的增益翻倍有余。
引用
@article{arxiv.2306.06899,
title = {Augmenting Zero-Shot Detection Training with Image Labels},
author = {Katharina Kornmeier and Ulla Scheler and Pascal Herrmann},
journal= {arXiv preprint arXiv:2306.06899},
year = {2023}
}