DEIM：具有改进匹配的 DETR 以实现快速收敛
计算机视觉与模式识别
2025-03-27 v3 人工智能
摘要
我们引入了 DEIM，这是一种创新且高效的训练框架，旨在加速基于 Transformer 架构的实时目标检测 (DETR) 的收敛。为了缓解 DETR 模型中一对一 (O2O) 匹配固有的稀疏监督问题，DEIM 采用了一种密集 O2O 匹配策略。该方法通过使用标准数据增强技术引入额外目标，增加了每张图像的正样本数量。虽然密集 O2O 匹配加速了收敛，但它也引入了许多可能影响性能的低质量匹配。为了解决这个问题，我们提出了可匹配性感知损失 (MAL)，这是一种新颖的损失函数，可以优化不同质量级别的匹配，从而增强密集 O2O 的有效性。在 COCO 数据集上的大量实验验证了 DEIM 的有效性。当与 RT-DETR 和 D-FINE 集成时，它持续提升性能，同时将训练时间减少 50%。值得注意的是，与 RT-DETRv2 搭配使用时，DEIM 在单个 NVIDIA 4090 GPU 上训练一天即可达到 53.2% 的 AP。此外，经 DEIM 训练的实时模型优于领先的实时目标检测器，其中 DEIM-D-FINE-L 和 DEIM-D-FINE-X 在 NVIDIA T4 GPU 上分别以 124 FPS 和 78 FPS 的速度达到了 54.7% 和 56.5% 的 AP，且无需额外数据。我们相信 DEIM 为实时目标检测的进步设定了新的基线。我们的代码和预训练模型可在 https://github.com/ShihuaHuang95/DEIM 获取。
引用
@article{arxiv.2412.04234,
title = {DEIM: DETR with Improved Matching for Fast Convergence},
author = {Shihua Huang and Zhichao Lu and Xiaodong Cun and Yongjun Yu and Xiao Zhou and Xi Shen},
journal= {arXiv preprint arXiv:2412.04234},
year = {2025}
}
备注
CVPR 2025