PS-TTL：基于原型的软标签与测试时学习用于少样本目标检测
计算机视觉与模式识别
2024-08-13 v1
摘要
近年来，少样本目标检测（FSOD）因其能够利用极少量标注数据构建具有良好泛化能力的模型而受到广泛关注并取得了显著进展。基于微调的范式目前主导该领域，检测器首先在具有充足样本的基础类上预训练，然后在仅有少量样本的新类别上进行微调，但新类别标注样本的稀缺性严重干扰了对其数据分布的精确拟合，从而损害了性能。为解决这一问题，我们提出了一种新的 FSOD 框架，即基于原型的软标签与测试时学习（PS-TTL）。具体而言，我们设计了一个测试时学习（TTL）模块，利用 mean-teacher 网络进行自训练以从测试数据中发现新实例，使检测器能够为新类别学习更好的表征与分类器。此外，我们注意到尽管低置信度的伪标签表现出分类混淆，但它们仍倾向于召回前景。因此，我们通过评估低置信度伪标签与类别原型之间的相似性来开发基于原型的软标签（PS）策略，将其作为软标签加以利用，从而显著缓解少样本带来的约束。在 VOC 和 COCO 基准上的大量实验表明，PS-TTL 达到了最先进水平，凸显了其有效性。代码与模型可在 https://github.com/gaoyingjay/PS-TTL 获取。
引用
@article{arxiv.2408.05674,
title = {PS-TTL: Prototype-based Soft-labels and Test-Time Learning for Few-shot Object Detection},
author = {Yingjie Gao and Yanan Zhang and Ziyue Huang and Nanqing Liu and Di Huang},
journal= {arXiv preprint arXiv:2408.05674},
year = {2024}
}
备注
Accepted to ACM MM 2024