通过提示学习和鲁棒决策边界提升少样本开放集目标检测
计算机视觉与模式识别
2025-05-22 v3
摘要
少样本开放集目标检测（FOOD）在许多开放世界场景中具有挑战性。旨在训练开放集检测器以检测已知对象，同时以稀缺的训练样本拒绝未知对象。现有FOOD方法受限于视觉信息不足，常在已知类别与未知类别之间存在模糊的决策边界。为解决这些限制，我们提出了首个基于提示的少样本开放集目标检测框架，利用额外的文本信息并构建针对未知类别拒绝的鲁棒决策边界。具体而言，由于缺乏未知类别的训练数据，我们采用基于归因梯度的伪未知样本挖掘（AGPM）方法，从而利用归因梯度差异来量化不确定性。随后，我们提出条件证据解耦（CED）以消除对抗性证据，提取从选定伪未知样本中提取的独特知识。这一优化过程可增强已知类别与未知类别之间的判别能力。为进一步正则化模型并为未知类别的拒绝形成鲁棒决策边界，我们引入异常分布校准（ADC）来校准伪未知样本中局部异常特征的输出概率分布。我们的方法在VOC10-5-5数据集设置下显著优于先前的SOTA方法，提升了所有shots中未知类别平均召回率7.24%，在VOC-COCO数据集设置下提升1.38%。我们的源代码可在 https://gitee.com/VR_NAVE/ced-food 查阅。
关键词
引用
@article{arxiv.2406.18443,
title = {Boosting Few-Shot Open-Set Object Detection via Prompt Learning and Robust Decision Boundary},
author = {Zhaowei Wu and Binyi Su and Qichuan Geng and Hua Zhang and Zhong Zhou},
journal= {arXiv preprint arXiv:2406.18443},
year = {2025}
}
备注
Accepted to IJCAI 2025