ASAG：通过自适应稀疏锚生成构建强单层解码器稀疏检测器
计算机视觉与模式识别
2023-08-21 v1
摘要
近期具有多个（例如六个）解码器层的稀疏检测器取得了令人瞩目的性能，但因复杂的检测头导致推理耗时较长。先前工作已探索使用稠密先验作为初始化并构建单层解码器检测器。尽管它们获得了显著的加速，其性能仍大幅落后于六层解码器对应模型。本工作中，我们旨在弥合该性能差距同时保持快速速度。我们发现稠密与稀疏检测器间的架构差异导致特征冲突，制约了单层解码器检测器的性能。因此我们提出自适应稀疏锚生成器（ASAG），其以稀疏方式在图像块而非网格上预测动态锚点，从而缓解特征冲突问题。对每幅图像，ASAG动态选择哪些特征图及哪些位置进行预测，形成完全自适应地生成图像专属锚点的方式。此外，一种简单有效的查询加权方法缓解了自适应带来的训练不稳定性。大量实验表明，我们的方法优于稠密初始化方法并实现了更优的速度-精度权衡。代码见 \url{https://github.com/iSEE-Laboratory/ASAG}。
引用
@article{arxiv.2308.09242,
title = {ASAG: Building Strong One-Decoder-Layer Sparse Detectors via Adaptive Sparse Anchor Generation},
author = {Shenghao Fu and Junkai Yan and Yipeng Gao and Xiaohua Xie and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2308.09242},
year = {2023}
}
备注
Accepted to ICCV 2023