COCO-O:一种用于自然分布偏移下目标检测器的基准数据集
计算机视觉与模式识别
2023-08-03 v2
摘要
实用的目标检测应用可能在具有自然分布偏移的图像输入上丧失有效性。该问题促使研究界更加关注检测器在分布外(OOD)输入下的鲁棒性。现有工作构建了数据集来针对特定应用场景(如自动驾驶)基准测试检测器的OOD鲁棒性。然而,这些数据集缺乏通用性,难以对基于COCO等常见任务构建的通用检测器进行基准测试。为提供更全面的鲁棒性评估,我们引入了COCO-O(ut-of-distribution),一个基于COCO、包含6类自然分布偏移的测试数据集。COCO-O与训练数据具有较大分布差距,导致Faster R-CNN检测器的性能相对下降达55.7%。我们利用COCO-O在100多个现代目标检测器上进行实验,以考察其改进是可信的还是仅仅过拟合于COCO测试集。遗憾的是,早年大多数经典检测器未展现出强OOD泛化能力。我们进一步研究了近期检测器架构设计、数据增强与预训练技术上的突破对鲁棒性的影响。一些经验发现被揭示:1)相比检测头或颈部,骨干网络对鲁棒性最为重要;2)端到端检测Transformer设计未带来提升,甚至可能降低鲁棒性;3)大规模基础模型在鲁棒目标检测上取得了巨大飞跃。我们希望COCO-O能为目标检测鲁棒性研究提供丰富的测试平台。数据集将发布于https://github.com/alibaba/easyrobust/tree/main/benchmarks/coco_o。
引用
@article{arxiv.2307.12730,
title = {COCO-O: A Benchmark for Object Detectors under Natural Distribution Shifts},
author = {Xiaofeng Mao and Yuefeng Chen and Yao Zhu and Da Chen and Hang Su and Rong Zhang and Hui Xue},
journal= {arXiv preprint arXiv:2307.12730},
year = {2023}
}
备注
Accepted in ICCV2023, https://github.com/alibaba/easyrobust/tree/main/benchmarks/coco_o