基于注意力的形状与步态表征学习用于视频换衣行人重识别
计算机视觉与模式识别
2024-02-07 v1
摘要
当前最先进的基于视频的行人重识别（Re-ID）主要依赖于深度学习模型提取的外观特征。这些方法不适用于现实场景中行人更换衣物后的长期分析，因为此时外观信息变得不可靠。在这项工作中，我们通过提出用于视频换衣行人重识别（VCCRe-ID）的“基于注意力的形状与步态表征学习”（ASGL）来解决这一实际问题。我们的 ASGL 框架通过学习与衣物无关的步态线索，利用时空图注意力网络（ST-GAT）提高了在衣物变化下的 Re-ID 性能。给定基于 3D 骨架的时空图，我们提出的 ST-GAT 包含多头注意力模块，能够增强步态嵌入在视角变化和遮挡下的鲁棒性。ST-GAT 放大了重要的运动范围并减少了噪声姿态的影响。然后，多头学习模块有效地保留了运动中有益的局部时间动态。我们还通过使用 GAT 学习身体形状线索来增强行人表征的判别能力。在两个大规模 VCCRe-ID 数据集上的实验表明，我们提出的框架在 rank-1 准确率上比最先进的方法高出 12.2%，在 mAP 上高出 7.0%。
引用
@article{arxiv.2402.03716,
title = {Attention-based Shape and Gait Representations Learning for Video-based Cloth-Changing Person Re-Identification},
author = {Vuong D. Nguyen and Samiha Mirza and Pranav Mantini and Shishir K. Shah},
journal= {arXiv preprint arXiv:2402.03716},
year = {2024}
}