为少样本目标检测生成具有增强裁剪相关多样性的特征
计算机视觉与模式识别
2023-04-12 v1
摘要
两阶段目标检测器生成目标提议并将其分类以检测图像中的物体。这些提议往往不能完美包含物体，而是以多种可能方式与之重叠，在提议的难度水平上表现出巨大差异。针对这种裁剪相关变异性训练一个鲁棒分类器需要丰富的训练数据，而少样本设定下并无此类数据。为缓解该问题，我们提出一种基于变分自编码器（VAE）的新型数据生成模型，其能够生成具有增强裁剪相关多样性的数据。主要思想是对潜空间进行变换，使得具有不同范数的潜码表示不同的裁剪相关变异。这使我们仅需改变潜范数即可生成在难度水平上具有增强裁剪相关多样性的特征。具体而言，每个潜码被重新缩放，使其范数与输入裁剪相对于真值框的 IoU 分数线性相关。此处 IoU 分数作为表示裁剪难度水平的代理。我们在基类上以每类的语义码为条件训练该 VAE 模型，然后使用训练后的模型为新颖类生成特征。在我们的实验中，所生成的特征在 PASCAL VOC 和 MS COCO 数据集上持续改善了最先进的少样本目标检测方法。
引用
@article{arxiv.2304.05096,
title = {Generating Features with Increased Crop-related Diversity for Few-Shot Object Detection},
author = {Jingyi Xu and Hieu Le and Dimitris Samaras},
journal= {arXiv preprint arXiv:2304.05096},
year = {2023}
}
备注
Accepted to CVPR 23