AdaMixer：一种快速收敛的基于查询的目标检测器
计算机视觉与模式识别
2022-04-01 v2
摘要
传统目标检测器采用在图像的位置与尺度上扫描的密集范式。近期的基于查询的目标检测器通过使用一组可学习查询解码图像特征打破了这一惯例。然而，该范式仍受限于收敛慢、性能有限，以及骨干与解码器之间额外网络的设计复杂性。本文中，我们发现这些问题的关键在于解码器将查询投射到不同物体的适应性。相应地，我们通过从两方面提升基于查询的解码过程的适应性，提出了一种快速收敛的基于查询的检测器，名为 AdaMixer。首先，每个查询基于估计的偏移量在空间与尺度上自适应采样特征，使 AdaMixer 能高效关注物体的连贯区域。然后，我们在每个查询的引导下用自适应 MLP-Mixer 动态解码这些采样特征。得益于这两个关键设计，AdaMixer 具有架构简洁性，无需密集注意力编码器或显式金字塔网络。在具有挑战性的 MS COCO 基准上，以 ResNet-50 为骨干、训练 12 个周期的 AdaMixer 在验证集上达到 45.0 AP，小物体检测达到 27.9 AP。采用更长训练方案时，以 ResNeXt-101-DCN 和 Swin-S 为骨干的 AdaMixer 分别达到 49.5 和 51.3 AP。我们的工作为基于查询的目标检测器揭示了一种简单、精确且快速收敛的架构。代码发布于 https://github.com/MCG-NJU/AdaMixer
引用
@article{arxiv.2203.16507,
title = {AdaMixer: A Fast-Converging Query-Based Object Detector},
author = {Ziteng Gao and Limin Wang and Bing Han and Sheng Guo},
journal= {arXiv preprint arXiv:2203.16507},
year = {2022}
}
备注
Accepted to CVPR 2022 (oral presentation)