中文

基于域先验的开放词汇航空目标检测蒸馏:DisDop

计算机视觉与模式识别 2026-05-26 v1 人工智能

摘要

近年来,无人机的广泛应用使航空图像目标检测受到越来越多的关注,尤其是不受预定义类别限制的开放词汇航空检测。由于无人机视角图像稀缺且与自然图像存在显著差异,直接应用为自然场景设计的轻量级开放词汇检测方法难以获得令人满意的结果。一些研究提出通过使用轻量级网络或生成伪标签来从预训练模型传递知识,但它们倾向于依赖在自然图像上训练的模型,忽略了专为遥感和航空图像构建的基础模型的潜在价值。为此,我们提出DisDop,一个统一的框架,通过系统性地从遥感基础模型(如RemoteCLIP和DINOv3)蒸馏多级域先验来实现轻量级检测器。具体而言,我们首先通过融合策略将RemoteCLIP的跨模态对齐能力与DINOv3的细粒度局部特征提取能力相结合,将其互补的优势传递给检测器的主干网络。其次,我们通过显式建模类别间语义关系来蒸馈RemoteCLIP文本编码器中的文本先验,同时纳入全局上下文先验以增强小目标的局部特征表示。通过该多级先验蒸馏框架,DisDop在开放词汇航空检测基准上实现了新的状态最佳性能。大量消融分析也证明了我们所提出模块的合理性和有效性。

关键词

引用

@article{arxiv.2605.24639,
  title  = {DisDop: Distillation with Domain Priors for Open-Vocabulary Aerial Object Detection},
  author = {Ruihao Xu and Yong Liu and Yansong Tang and Sule Bai and Xubing Ye and Bingyao Yu and Yutao Guo and Jiwen Lu and Jie Zhou},
  journal= {arXiv preprint arXiv:2605.24639},
  year   = {2026}
}