基于 Transformer 的姿态引导特征解耦用于遮挡行人重识别
计算机视觉与模式识别
2021-12-14 v2
摘要
遮挡行人重识别是一项具有挑战性的任务，因为人体部位在某些场景中可能被子某些障碍物（如树木、汽车和行人）遮挡。一些现有的姿态引导方法通过基于图匹配对齐身体部位来解决该问题，但这些基于图的方法不够直观且复杂。因此，我们提出一种基于 transformer 的姿态引导特征解耦（PFD）方法，利用姿态信息清晰地解耦语义成分（如人体或关节部位）并选择性地匹配相应的非遮挡部位。首先，使用 Vision Transformer（ViT）凭借其强大能力提取块特征。其次，为初步从块信息中解耦姿态信息，在姿态引导特征聚合（PFA）模块中利用匹配与分发机制。第三，在 transformer 解码器中引入一组可学习的语义视图，以隐式增强解耦的身体部位特征。然而，若无额外监督，这些语义视图无法保证与身体相关。因此，提出姿态-视图匹配（PVM）模块来显式匹配可见身体部位并自动分离遮挡特征。第四，为更好地防止遮挡的干扰，我们设计了一种姿态引导推离损失以强调可见身体部位的特征。在五个具挑战性数据集上针对两项任务（遮挡与整体 Re-ID）的广泛实验表明，我们提出的 PFD 极具前景，优于当前最先进的方法。代码见 https://github.com/WangTaoAs/PFD_Net
引用
@article{arxiv.2112.02466,
title = {Pose-guided Feature Disentangling for Occluded Person Re-identification Based on Transformer},
author = {Tao Wang and Hong Liu and Pinhao Song and Tianyu Guo and Wei Shi},
journal= {arXiv preprint arXiv:2112.02466},
year = {2021}
}
备注
Accepted by AAAI2022