深度平衡目标检测
计算机视觉与模式识别
2023-08-21 v1
摘要
基于查询的目标检测器通过一组可学习查询将图像特征直接解码为物体实例。这些查询向量经由一系列解码器层逐步精炼为稳定的有意义表示，随后用于通过简单 FFN 头直接预测物体位置与类别。本文中，我们设计了一种深度平衡解码器，提出一种新的基于查询的目标检测器（DEQDet）。我们的 DEQ 解码器将查询向量精炼建模为隐式层的定点求解，等价于施加无限步精炼。为更贴合物体解码，我们使用两步展开平衡方程来显式捕捉查询向量精炼。相应地，我们能够借助不精确梯度反向传播（RAG）将精炼感知纳入 DEQ 训练。此外，为稳定 DEQDet 的训练并提升其泛化能力，我们在 DEQ 的优化路径上设计了带精炼感知扰动（RAP）的深度监督方案。我们的实验表明，DEQDet 比基线对应方法（AdaMixer）收敛更快、占用内存更少且取得更优结果。特别地，我们的 DEQDet 以 ResNet50 为骨干、300 个查询，在 训练方案（24 轮）下于 MS COCO 基准上取得 mAP 与 AP。
引用
@article{arxiv.2308.09564,
title = {Deep Equilibrium Object Detection},
author = {Shuai Wang and Yao Teng and Limin Wang},
journal= {arXiv preprint arXiv:2308.09564},
year = {2023}
}