面向端到端特定任务目标检测的IoU增强注意力
计算机视觉与模式识别
2022-10-06 v2
摘要
稀疏R-CNN通过一组以级联训练方式更新的目标查询和提议框，在没有图像中密集平铺的锚框或网格点的情况下取得了有前景的结果。然而，由于稀疏性质以及查询与其关注区域之间的一对一关系，它严重依赖于自注意力，而自注意力在训练早期通常不准确。此外，在密集物体场景中，目标查询会与许多不相关的物体交互，削弱其独特性并损害性能。本文提出使用不同框之间的IoU作为自注意力中值路由的先验。原始注意力矩阵乘以由提议框的IoU计算的同尺寸矩阵，它们共同决定路由方案，从而抑制不相关特征。此外，为准确提取分类和回归特征，我们添加两个轻量级投影头，基于目标查询提供动态通道掩码，并与动态卷积的输出相乘，使结果适用于这两个不同任务。我们在包括MS-COCO和CrowdHuman的不同数据集上验证了所提方案，表明其显著提升了性能并加快了模型收敛速度。
引用
@article{arxiv.2209.10391,
title = {IoU-Enhanced Attention for End-to-End Task Specific Object Detection},
author = {Jing Zhao and Shengjian Wu and Li Sun and Qingli Li},
journal= {arXiv preprint arXiv:2209.10391},
year = {2022}
}
备注
ACCV2022