具有额外全局聚合的DETR用于跨域弱监督目标检测
计算机视觉与模式识别
2023-04-17 v1
摘要
本文提出一种基于DETR的跨域弱监督目标检测（CDWSOD）方法，旨在通过弱监督将检测器从源域适配到目标域。我们认为DETR在CDWSOD中具有强大潜力，基于一个洞察：DETR中的编码器和解码器均基于注意力机制，因此能够聚合整幅图像的语义。聚合结果，即图像级预测，可自然地利用弱监督进行域对齐。受此启发，我们提出具有额外全局聚合的DETR（DETR-GA），一种同时进行“实例级+图像级”预测并利用“强+弱”监督的CDWSOD检测器。DETR-GA的关键点非常简单：对于编码器/解码器，我们分别添加多个类别查询/一个前景查询，将语义聚合为图像级预测。我们基于查询的聚合有两个优势。首先，在编码器中，弱监督的类别查询能够粗略定位相应位置并排除来自不相关区域的干扰。其次，通过我们的设计，解码器中的对象查询与前景查询在类别语义上达成共识，从而使强监督和弱监督相互受益以进行域对齐。在四个流行的跨域基准上的大量实验表明，DETR-GA显著改进了CSWSOD并推进了最先进水平（例如，在PASCAL VOC --> Clipart_all数据集上mAP从29.0%提升到79.4%）。
引用
@article{arxiv.2304.07082,
title = {DETR with Additional Global Aggregation for Cross-domain Weakly Supervised Object Detection},
author = {Zongheng Tang and Yifan Sun and Si Liu and Yi Yang},
journal= {arXiv preprint arXiv:2304.07082},
year = {2023}
}
备注
8 pages, 4 figures, CVPR 2023