基于视觉基础模型引导的源自由约束下半监督检测变换器
计算机视觉与模式识别
2025-08-27 v2
摘要
无监督域适应方法已广泛探索以弥合域间差距。然而在实际遥感场景中，隐私和传输约束常常限制对源域数据的访问，限制了其实际应用。最近出现的源自由目标检测（SFOD）作为一种有前景的替代方案，旨在不依赖源数据的情况下进行跨域适应，主要通过自训练范式实现。尽管具有潜力，SFOD 常因噪声伪标签导致训练崩溃，尤其在遥感图像中对象稠密且背景复杂。鉴于实际场景中目标域注释有限可行，我们提出一种基于视觉基础模型引导的检测变换器（VG-DETR），建立在 SFOD 的半监督框架中。VG-DETR 以“无需额外费用”的方式将视觉基础模型（VFM）整合到训练流程中，利用少量标记目标数据以缓解伪标签噪声，同时提升检测器的特征提取能力。具体而言，我们引入 VFM 引导的伪标签挖掘策略，利用 VFM 的语义先验进一步评估生成伪标签的可靠性。通过恢复来自低置信度输出的潜在正确预测，我们的策略提高了伪标签的质量和数量。此外，提出一种双层 VFM 引导对齐方法，在实例和图像层面将检测器特征与 VFM 嵌入进行对齐。通过在细粒度原型间的对比学习和特征图间的相似性匹配，该双层对齐进一步增强了特征表示对域间差距的鲁棒性。大量实验表明，VG-DETR 在源自由遥感检测任务中取得优异性能。
引用
@article{arxiv.2508.11167,
title = {VFM-Guided Semi-Supervised Detection Transformer under Source-Free Constraints for Remote Sensing Object Detection},
author = {Jianhong Han and Yupei Wang and Liang Chen},
journal= {arXiv preprint arXiv:2508.11167},
year = {2025}
}
备注
Manuscript submitted to IEEE TCSVT