高质量提案编码与级联去噪：用于虚构监督目标检测
计算机视觉与模式识别
2025-11-12 v1
摘要
目标检测模型需要大规模标注数据集，而这些数据集创建成本高昂且耗时。因此催生了虚构监督目标检测（ISOD），即模型在合成图像上训练，在真实图像上测试。然而现有方法面临三个局限性：（1）合成数据集存在提示简单、图像质量差和监督不足的问题；（2）基于DETR的检测器由于随机查询初始化，难以快速收敛且容易过拟合合成模式，限制了在真实场景中的泛化能力；（3）统一的去噪压力会促使模型对伪标签噪声产生过拟合。我们提出了级联高质量提案DETR（Cascade HQP-DETR）来解决上述问题。首先，我们引入高质量数据管道，利用LLaMA-3、Flux和Grounding DINO生成FluxVOC和FluxCOCO数据集，将ISOD从弱监督提升至完全监督。其次，我们采用SAM生成的提案和感兴趣区域特征池化特征中的图像特定先验，对对象查询进行初始化，以加速收敛，同时引导模型学习可迁移特征而非对合成模式的过拟合。最后，我们的级联去噪算法通过跨解码器层 progressively 增加的IoU阈值动态调整训练权重，引导模型从可靠视觉线索中学习鲁棒边界，而非对噪声标签产生过拟合。在仅在FluxVOC上训练12个epoch的情况下，Cascade HQP-DETR在PASCAL VOC 2007上实现了61.04%的SOTA [email protected]，超越了强大的基线模型，其在真实数据的竞争性能也确认了该架构的通用适用性。
引用
@article{arxiv.2511.08018,
title = {High-Quality Proposal Encoding and Cascade Denoising for Imaginary Supervised Object Detection},
author = {Zhiyuan Chen and Yuelin Guo and Zitong Huang and Haoyu He and Renhao Lu and Weizhe Zhang},
journal= {arXiv preprint arXiv:2511.08018},
year = {2025}
}
备注
This work has been submitted to Pattern Recognition for possible publication