面向少样本端到端目标检测的稳定性与可塑性解耦微调
计算机视觉与模式识别
2024-01-23 v1 人工智能
摘要
少样本目标检测 (FSOD) 旨在设计仅用少量标注样本即可高效适应目标检测器的方法。微调已被证明是一种有效且实用的方法。然而，以往的工作通常采用经典的基类-新类两阶段微调过程，而忽略了不同模块之间隐含的稳定性-可塑性矛盾。具体而言，随机重新初始化的分类器需要更多的可塑性来适应新样本。继承预训练权重的其他模块则需要更多的稳定性来保留其类无关知识。将这两部分的优化耦合在一起的常规微调会损害模型在 FSOD 场景中的泛化能力。在本文中，我们发现由于其多分类器级联架构，该问题在端到端目标检测器 Sparse R-CNN 中尤为突出。我们提出通过引入一个额外的可塑性分类器微调 (PCF) 阶段，作为一种新的三阶段微调过程来缓解这一矛盾。我们进一步设计了多源集成 (ME) 技术，以增强模型在最终微调阶段的泛化能力。大量实验验证了我们的方法在正则化 Sparse R-CNN 方面是有效的，在 FSOD 基准上优于以往的方法。
关键词
引用
@article{arxiv.2401.11140,
title = {Stability Plasticity Decoupled Fine-tuning For Few-shot end-to-end Object Detection},
author = {Yuantao Yin and Ping Yin},
journal= {arXiv preprint arXiv:2401.11140},
year = {2024}
}