面向小样本目标检测的细粒度原型蒸馏
计算机视觉与模式识别
2024-03-13 v2
摘要
小样本目标检测(FSOD)旨在仅用少量训练样本扩展通用检测器以检测新类别目标。由于其实际意义，近来引起了极大关注。元学习已被证明是解决此任务的有效范式。通常，基于元学习的方法采用一个额外的支持分支将新样本（即支持图像）编码为类别原型，然后与查询分支融合以促进模型预测。然而，类别级原型难以精确生成，且缺乏详细信息，导致性能不稳定。需要新的方法来捕获独特的局部上下文以实现更鲁棒的新目标检测。为此，我们提出将最具代表性的支持特征蒸馏为细粒度原型。这些原型随后根据匹配结果分配到查询特征图中，建模两个分支间详细的特征关系。此过程由我们的细粒度特征聚合(FFA)模块实现。此外，在高层特征融合方面，我们从不同角度提出了平衡类别无关采样(B-CAS)策略和非线性融合(NLF)模块。它们相互补充，更有效地刻画了高层特征关系。在PASCAL VOC和MS COCO基准上的大量实验表明，我们的方法在大多数设置下达到了新的最优性能。代码见https://github.com/wangchen1801/FPD。
引用
@article{arxiv.2401.07629,
title = {Fine-Grained Prototypes Distillation for Few-Shot Object Detection},
author = {Zichen Wang and Bo Yang and Haonan Yue and Zhenghao Ma},
journal= {arXiv preprint arXiv:2401.07629},
year = {2024}
}
备注
Accepted by AAAI2024