TranSG：基于 Transformer 的骨架图原型对比学习与时序结构提示重建用于行人重识别
计算机视觉与模式识别
2023-08-01 v3
摘要
通过 3D 骨架数据的行人重识别（re-ID）是一个具有显著优势的新兴课题。现有方法通常用原始身体关节设计骨架描述子或进行骨架序列表示学习。然而，它们通常无法同时建模不同身体部件关系，且很少从身体关节的细粒度表示中挖掘有用语义。本文中，我们提出一种通用的基于 Transformer 的骨架图原型对比学习（TranSG）方法，结合结构-轨迹提示重建，以充分捕获骨架图中的骨骼关系与有价值的时空语义用于行人重识别。具体地，我们首先设计骨架图 Transformer（SGT）以同时学习骨架图内的身体与运动关系，从而将关键相关节点特征聚合为图表示。然后，我们提出图原型对比学习（GPC）来挖掘每个身份最具代表性的图特征（图原型），并从骨架与序列两个层面对比图表示与不同原型之间的内在相似性，以学习判别性图表示。最后，提出图结构-轨迹提示重建（STPR）机制，利用图节点的空间与时间上下文提示骨架图重建，从而促进捕获更有价值的模式与图语义用于行人重识别。实证评估表明 TranSG 显著优于现有最先进方法。我们进一步展示了其在不同图建模、RGB 估计骨架以及无监督场景下的通用性。
引用
@article{arxiv.2303.06819,
title = {TranSG: Transformer-Based Skeleton Graph Prototype Contrastive Learning with Structure-Trajectory Prompted Reconstruction for Person Re-Identification},
author = {Haocong Rao and Chunyan Miao},
journal= {arXiv preprint arXiv:2303.06819},
year = {2023}
}
备注
Accepted by CVPR 2023. Codes are available at https://github.com/Kali-Hac/TranSG. Supplemental materials are included in the conference proceedings