DETR 在实时目标检测上超越 YOLO
计算机视觉与模式识别
2024-04-04 v3
摘要
YOLO 系列因其在速度与精度之间的合理权衡，已成为最流行的实时目标检测框架。然而，我们观察到 YOLO 的速度和精度受到 NMS 的负面影响。近来，基于端到端 Transformer 的检测器（DETRs）提供了消除 NMS 的替代方案。尽管如此，高计算成本限制了其实用性，并阻碍其充分利用排除 NMS 的优势。本文中，我们提出实时检测 Transformer（RT-DETR），据我们所知这是首个解决上述困境的实时端到端目标检测器。我们分两步构建 RT-DETR，借鉴先进的 DETR：首先聚焦于在保持精度的同时提升速度，随后在保持速度的同时提升精度。具体而言，我们设计了一种高效混合编码器，通过解耦尺度内交互与跨尺度融合来快速处理多尺度特征以提升速度。接着，我们提出不确定性最小查询选择，为解码器提供高质量的初始查询，从而提升精度。此外，RT-DETR 支持通过调整解码器层数实现灵活的速度调节，以适应各种场景而无需重新训练。我们的 RT-DETR-R50 / R101 在 COCO 上达到 53.1% / 54.3% AP，在 T4 GPU 上达到 108 / 74 FPS，在速度与精度上均优于先前先进的 YOLOs。我们还开发了缩放版 RT-DETRs，其优于更轻量的 YOLO 检测器（S 和 M 模型）。此外，RT-DETR-R50 在精度上优于 DINO-R50 达 2.2% AP，在 FPS 上约为其 21 倍。使用 Objects365 预训练后，RT-DETR-R50 / R101 达到 55.3% / 56.2% AP。项目页面：https://zhao-yian.github.io/RTDETR。
引用
@article{arxiv.2304.08069,
title = {DETRs Beat YOLOs on Real-time Object Detection},
author = {Yian Zhao and Wenyu Lv and Shangliang Xu and Jinman Wei and Guanzhong Wang and Qingqing Dang and Yi Liu and Jie Chen},
journal= {arXiv preprint arXiv:2304.08069},
year = {2024}
}