基于图像-语言相似度重评分的小样本目标检测
计算机视觉与模式识别
2024-07-25 v1 人工智能
摘要
小样本目标检测致力于以少量标注检测新物体，是学界新兴挑战。近期研究表明，采用预训练模型或修改损失函数可提升性能。本文探索在低数据场景下利用对比语言-图像预训练（CLIP）与难负样本分类损失的力量。具体而言，我们提出基于图像-语言相似度重评分的小样本目标检测（RISF），其通过引入基于CLIP的校准模块（CM-CLIP）与背景负样本重缩放损失（BNRL）扩展Faster R-CNN。前者适配可执行零样本分类的CLIP，利用图像-类别相似度对检测器的分类得分重评分；后者为改进的分类损失，在广义小样本目标检测数据集上考虑对虚假背景及易混淆类别的惩罚。在MS-COCO与PASCAL VOC上的大量实验表明，所提RISF大幅优于当前最优方法。代码将公开。
引用
@article{arxiv.2311.00278,
title = {Re-Scoring Using Image-Language Similarity for Few-Shot Object Detection},
author = {Min Jae Jung and Seung Dae Han and Joohee Kim},
journal= {arXiv preprint arXiv:2311.00278},
year = {2024}
}
备注
19 pages, 11 figures