PSTR：基于 Transformer 的端到端单步行人搜索
计算机视觉与模式识别
2022-04-08 v1
摘要
我们提出了一种新颖的基于 Transformer 的单步行人搜索框架 PSTR，该框架在单一架构中联合执行行人检测与重识别。PSTR 包含一个行人搜索专用(PSS)模块，该模块包含用于行人检测的检测编码器-解码器，以及用于行人重识别的判别性重识别解码器。判别性重识别解码器采用共享解码器的多级监督方案进行判别性重识别特征学习，并包含一个部位注意力块以编码行人不同部位之间的关系。我们进一步引入了一种简单的多尺度方案，以支持不同尺度的行人实例间的重识别。PSTR 联合实现了目标级识别(检测)和实例级匹配(重识别)的多样化目标。据我们所知，我们是首个提出基于 Transformer 的端到端单步行人搜索框架的。实验在两个流行的基准数据集上进行：CUHK-SYSU 和 PRW。我们的大量消融实验揭示了所提贡献的优势。此外，所提出的 PSTR 在两个基准上均创下了新的最先进水平。在具有挑战性的 PRW 基准上，PSTR 取得了 56.5% 的平均精度均值。源代码可在 \url{https://github.com/JialeCao001/PSTR} 获取。
引用
@article{arxiv.2204.03340,
title = {PSTR: End-to-End One-Step Person Search With Transformers},
author = {Jiale Cao and Yanwei Pang and Rao Muhammad Anwer and Hisham Cholakkal and Jin Xie and Mubarak Shah and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2204.03340},
year = {2022}
}
备注
CVPR2022, Code: https://github.com/JialeCao001/PSTR