语义感知的变换不变 RoI 对齐
计算机视觉与模式识别
2023-12-18 v1
摘要
在过去十年中，基于学习的目标检测方法取得了巨大进展。两阶段检测器通常比单阶段检测器具有更高的检测精度，这是因为它们使用了感兴趣区域（RoI）特征提取器，为不同的 RoI 提议提取变换不变的 RoI 特征，使得边界框的细化和目标类别的预测更加鲁棒和准确。然而，以往的 RoI 特征提取器只能在有限的变换下提取不变特征。在本文中，我们提出了一种新颖的 RoI 特征提取器，称为语义 RoI 对齐（SRA），它能够为两阶段检测器在各种变换下提取不变的 RoI 特征。具体而言，我们提出了一个语义注意力模块，通过利用 RoI 内的全局和局部语义关系来自适应地确定不同的采样区域。我们还提出了一个动态特征采样器，它根据 RoI 的长宽比动态采样特征以提高 SRA 的效率；以及一种新的位置嵌入，即区域嵌入，通过改进的采样区域表示为 SRA 提供更准确的位置信息。实验表明，我们的模型以极小的计算开销显著优于基线模型。此外，它表现出优异的泛化能力，可用于提升各种最先进的骨干网络和检测方法的性能。
引用
@article{arxiv.2312.09609,
title = {Semantic-Aware Transformation-Invariant RoI Align},
author = {Guo-Ye Yang and George Kiyohiro Nakayama and Zi-Kai Xiao and Tai-Jiang Mu and Xiaolei Huang and Shi-Min Hu},
journal= {arXiv preprint arXiv:2312.09609},
year = {2023}
}