基于嵌入侧信息的少样本目标检测广义语义对比学习
计算机视觉与模式识别
2025-04-15 v1
摘要
少样本目标检测（FSOD）的目标是凭借有限的训练样本检测新目标。该任务的核心挑战在于如何在基类别空间的基础上构建用于新类别的广义特征空间，以适应模型对未知情景的学习。然而，由于新类别样本不足，仍存在两个问题：（1）新类别的特征容易被隐式地由基类别的特征所表示，导致分类器边界难以分离；（2）新类别数据稀少，难以充分表示其分布，模型微调容易产生过拟合。为此，我们引入侧信息以缓解特征空间和样本视角所带来的负面影响，构建一种针对FSOD的广义特征表示学习方法。具体而言，我们首先利用嵌入侧信息构建知识矩阵，量化基类别与新类别之间的语义关系。随后，发展基于侧信息的上下文语义监督对比学习，以强化相似类别之间的判别性。此外，为防止稀疏样本导致的过拟合，引入侧信息引导的区域感知掩码模块，通过对抗性解释寻找并丢弃偏差信息，从而增强样本多样性，进一步细化判别性特征空间。在PASCAL VOC、MS COCO、LVIS V1、FSOD-1K和FSVOD-500等基准上使用ResNet和ViT作为主干网络进行大量实验，表明我们的方法在大多数shots/splits上均优于以往的状态方法，显著提升了FSOD的性能。
引用
@article{arxiv.2504.07060,
title = {Generalized Semantic Contrastive Learning via Embedding Side Information for Few-Shot Object Detection},
author = {Ruoyu Chen and Hua Zhang and Jingzhi Li and Li Liu and Zhen Huang and Xiaochun Cao},
journal= {arXiv preprint arXiv:2504.07060},
year = {2025}
}
备注
Accepted by T-PAMI (IEEE Transactions on Pattern Analysis and Machine Intelligence)