通过增强开放集目标检测器实现跨域少样本目标检测
计算机视觉与模式识别
2024-09-30 v4 机器学习
摘要
本文研究了具有挑战性的跨域少样本目标检测 (CD-FSOD)，旨在利用最少的标注样本为新颖域开发准确的目标检测器。虽然基于 Transformer 的开放集检测器（如 DE-ViT）在传统少样本目标检测中显示出前景，但其向 CD-FSOD 的泛化能力尚不明确：1) 此类开放集检测方法能否轻松泛化到 CD-FSOD？2) 如果不能，当面临巨大的域差距时如何增强模型？为了回答第一个问题，我们采用包括风格、类间方差 (ICV) 和不可定义边界 (IB) 在内的度量来理解域差距。基于这些度量，我们建立了一个名为 CD-FSOD 的新基准来评估目标检测方法，揭示了当前大多数方法无法跨域泛化。从技术角度看，我们观察到性能下降与我们提出的度量相关：风格、ICV 和 IB。因此，我们提出了几个新颖的模块来解决这些问题。首先，可学习实例特征将初始固定实例与目标类别对齐，增强特征区分度。其次，实例重加权模块赋予具有轻微 IB 的高质量实例更高的重要性。第三，域提示器通过合成不改变语义内容的虚拟域，鼓励特征对不同风格具有鲁棒性。这些技术共同促成了用于 CD-FSOD 的跨域视觉 Transformer (CD-ViTO) 的开发，显著改进了基础 DE-ViT。实验结果验证了我们模型的有效性。
引用
@article{arxiv.2402.03094,
title = {Cross-Domain Few-Shot Object Detection via Enhanced Open-Set Object Detector},
author = {Yuqian Fu and Yu Wang and Yixuan Pan and Lian Huai and Xingyu Qiu and Zeyu Shangguan and Tong Liu and Yanwei Fu and Luc Van Gool and Xingqun Jiang},
journal= {arXiv preprint arXiv:2402.03094},
year = {2024}
}
备注
Accepted by ECCV2024 (project website: http://yuqianfu.com/CDFSOD-benchmark)