面向遮挡行人重识别的特征恢复 Transformer
计算机视觉与模式识别
2023-01-11 v1
摘要
挑战行人重识别（Re-ID）的一个主要问题是所拍摄行人上普遍存在的遮挡。遮挡行人 Re-ID 问题有两个主要挑战，即特征匹配过程中噪声的干扰以及遮挡带来的行人信息丢失。本文提出一种称为特征恢复 Transformer（FRT）的新方法来同时应对这两个挑战，其主要由可见性图匹配和特征恢复 transformer 组成。为减少特征匹配过程中噪声的干扰，我们主要关注两幅图像中均出现的可见区域，并构建可见性图来计算相似度。针对第二个挑战，基于所构建的图相似度，对于每个查询图像，我们提出一种恢复 transformer，利用画廊中其 近邻的特征集来恢复完整特征。在包括遮挡、部分和整体数据集的不同行人 Re-ID 数据集上的大量实验证明了 FRT 的有效性。具体而言，在具有挑战性的 Occluded-Duke 数据集上，FRT 以至少 6.2% 的 Rank-1 准确率和 7.2% 的 mAP 分数显著优于最先进结果。代码见 https://github.com/xbq1994/Feature-Recovery-Transformer。
引用
@article{arxiv.2301.01879,
title = {Learning Feature Recovery Transformer for Occluded Person Re-identification},
author = {Boqiang Xu and Lingxiao He and Jian Liang and Zhenan Sun},
journal= {arXiv preprint arXiv:2301.01879},
year = {2023}
}