DN-DETR：通过引入查询去噪加速 DETR 训练
计算机视觉与模式识别
2022-12-09 v3 人工智能
摘要
本文提出一种新颖的去噪训练方法，以加速 DETR（DEtection TRansformer，检测Transformer）训练，并深化对类 DETR 方法收敛缓慢问题的理解。我们表明，收敛缓慢源于二分图匹配的不稳定性，这在训练早期阶段导致了不一致的优化目标。为解决该问题，除匈牙利损失外，我们的方法额外将带噪声的真实边界框输入 Transformer 解码器，并训练模型重建原始框，这有效降低了二分图匹配的困难并带来更快的收敛。我们的方法具有通用性，只需添加数十行代码即可轻松插入任何类 DETR 方法中，取得显著提升。结果表明，在相同设置下 DN-DETR 取得了显著提升（+1.9 AP），并在使用 ResNet-50 骨干网络的类 DETR 方法中取得了最佳结果（训练 12 和 50 轮时 AP 分别为 43.4 和 48.6）。在相同设置下与基线相比，DN-DETR 仅用 50% 的训练轮数即取得相当性能。代码见 \url{https://github.com/FengLi-ust/DN-DETR}。
引用
@article{arxiv.2203.01305,
title = {DN-DETR: Accelerate DETR Training by Introducing Query DeNoising},
author = {Feng Li and Hao Zhang and Shilong Liu and Jian Guo and Lionel M. Ni and Lei Zhang},
journal= {arXiv preprint arXiv:2203.01305},
year = {2022}
}
备注
Extended version from CVPR 2022