基于自训练与对抗学习平衡的域自适应目标检测
计算机视觉与模式识别
2023-11-10 v1
摘要
基于深度学习的目标检测器难以泛化到目标和背景存在显著变化的新目标域。当前多数方法通过图像或实例级对抗特征对齐来对齐域。这常因不想要的背景而受影响,且缺乏类特定对齐。促进类级对齐的一种直接方法是使用未标记域上的高置信度预测作为伪标签。这些预测通常含有噪声,因为模型在域偏移下校准不良。本文中,我们提出利用模型的预测不确定性,在对抗特征对齐与类级对齐之间取得恰当平衡。我们开发了一种技术来量化类分配与边界框预测上的预测不确定性。低不确定性模型预测用于生成自训练伪标签,而较高不确定性预测用于生成对抗特征对齐的图块(tile)。这种围绕不确定目标区域切图与从高确定目标区域生成伪标签的协同作用,使模型自适应过程中能同时捕获图像与实例级上下文。我们进行了充分的消融实验以揭示各组件的影响。在五个多样且具挑战性的自适应场景上的结果表明,我们的方法以明显优势超越现有state-of-the-art方法。
引用
@article{arxiv.2311.04815,
title = {Domain Adaptive Object Detection via Balancing Between Self-Training and Adversarial Learning},
author = {Muhammad Akhtar Munir and Muhammad Haris Khan and M. Saquib Sarfraz and Mohsen Ali},
journal= {arXiv preprint arXiv:2311.04815},
year = {2023}
}
备注
Accepted for publication in IEEE Transactions on Pattern Analysis and Machine Intelligence (Volume: 45, Issue: 12, December 2023); Extended version of our conference paper, arXiv link: arXiv:2110.00249