开放词汇目标检测：分布迁移下的鲁棒性挑战
计算机视觉与模式识别
2024-09-09 v4
摘要
离群分布 (OOD) 鲁棒性仍是部署深度视觉模型的关键障碍。视觉语言模型 (VLM) 近期取得了突破性成果。基于 VLM 的开放词汇目标检测扩展了传统目标检测框架的能力，使其能够识别和分类超出预定义类别的对象。调查 OOD 鲁棒性对于增强这些模型的可信度至关重要。本研究对三种最新开放词汇 (OV) 基础目标检测模型（OWL-ViT、YOLO World 和 Grounding DINO）的零样能力进行全面鲁棒性评估。在包含信息丢失、噪声、对抗性攻击和几何变形等分布迁移的鲁棒性基准测试 COCO-O、COCO-DC 和 COCO-C 上进行实验，揭示了模型鲁棒性挑战，以推动实现鲁棒性研究。项目页面: https://prakashchhipa.github.io/projects/ovod_robustness
引用
@article{arxiv.2405.14874,
title = {Open-Vocabulary Object Detectors: Robustness Challenges under Distribution Shifts},
author = {Prakash Chandra Chhipa and Kanjar De and Meenakshi Subhash Chippa and Rajkumar Saini and Marcus Liwicki},
journal= {arXiv preprint arXiv:2405.14874},
year = {2024}
}
备注
Accepted at 2024 European Conference on Computer Vision Workshops (ECCVW). Project page - https://prakashchhipa.github.io/projects/ovod_robustness