DEYOv2：基于排序特征与贪心匹配的自端到端目标检测

本文提出一种称为 DEYOv2 的新型目标检测器，它是初代 DEYO（DETR with YOLO）模型的改进版本。与其前身类似，DEYOv2 采用渐进式推理方法以加速模型训练并提升性能。本研究深入探讨了单对一匹配在优化中的局限性，并提出了有效解决该问题的方案，如排序特征（Rank Feature）与贪心匹配（Greedy Matching）。该方法使 DEYOv2 的第三阶段能够在无需 NMS 的情况下从第一和第二阶段最大化信息获取，实现端到端优化。通过结合密集查询、稀疏查询、一对多匹配和单对一匹配，DEYOv2 利用了每种方法的优势。在相同设置下，它优于所有现有的基于查询的端到端检测器。当使用 ResNet-50 作为骨干网络并在 COCO 数据集上采用多尺度特征时，DEYOv2 在 12 和 24 个 epoch 下分别达到 51.1 AP 和 51.8 AP。与端到端模型 DINO 相比，DEYOv2 在两种 epoch 设置下分别提供了 2.1 AP 和 1.4 AP 的显著性能提升。据我们所知，DEYOv2 是首个结合经典检测器与基于查询检测器的各自优势的全端到端目标检测器。