RF-DETR：面向实时检测的 Transformer 神经网络结构搜索
计算机视觉与模式识别
2026-02-05 v2
摘要
开放词汇检测器在 COCO 上取得了令人印象深刻的性能，但常常难以推广到具有超出分布类别（通常不在预训练数据中）的真实世界数据集。我们提出 RF-DETR，这是一种轻量级专业检测变换器，通过权重共享神经网络结构搜索（NAS）发现针对任意目标数据集的准确性-延迟 Pareto 曲线。我们的做法在目标数据集上微调预训练的基础网络，然后在不同准确性-延迟权衡下评估数千种网络配置，而无需重新训练。进一步地，我们重新审视了 NAS 的“可调参数”，以提高 DETRs 对多样目标领域的可迁移性。值得注意的是，RF-DETR 在 COCO 和 Roboflow100-VL 上显著优于先前的 SOTA 实时方法。RF-DETR（nano）在 COCO 上达到 48.0 AP，超越 D-FINE（nano）5.3 个 AP，同时延迟相近；RF-DETR（2x-large）在 Roboflow100-VL 上超越 GroundingDINO（tiny）1.2 个 AP，同时运行速度快 20 倍。据我们所知，RF-DETR（2x-large）是首个在 COCO 上突破 60 AP 的实时检测器。我们的代码已公开于 https://github.com/roboflow/rf-detr
引用
@article{arxiv.2511.09554,
title = {RF-DETR: Neural Architecture Search for Real-Time Detection Transformers},
author = {Isaac Robinson and Peter Robicheaux and Matvei Popov and Deva Ramanan and Neehar Peri},
journal= {arXiv preprint arXiv:2511.09554},
year = {2026}
}
备注
This work has been accepted to the International Conference on Learning Representations (ICLR) 2026. Project Page: https://rfdetr.roboflow.com/