基于图变换器的动机引导组合骨架原型学习用于基于骨架的人体重识别
计算机视觉与模式识别
2025-02-04 v2 人工智能
摘要
基于 3D 骨架数据的行人重识别（re-ID）是一个在许多场景中具有重要价值的挑战性任务。现有的骨架方法通常假设所有关节之间的虚拟运动关系，采用平均关节或序列表示进行学习。然而，这些方法很少探索关键身体结构和运动（如步态），以聚焦于更重要的关节或肢体，缺乏充分挖掘骨架空间时间亚模式的能力，以增强模型学习。本文提出了一种通用的动机引导图变换器与组合骨架原型学习（MoCos），利用结构特定和与步态相关的身体关系以及骨架图的组合特征，学习有效的骨架表示以用于人体重识别。具体而言，基于关节结构中的局部性和步态中的身体组件协作，我们首先提出了动机引导图变换器（MGT），其融合了层次结构动机和步态协作动机，同时聚焦于多阶局部关节关联和关键协作身体部位，以增强骨架关系学习。随后，我们设计了组合骨架原型学习（CSP），其利用关节节点和骨架图的随机空间时间组合，以生成多样化的亚骨架和亚轨迹表示，这些表示与每个身份的最具代表性的特征（原型）进行对比，以学习与类相关语义和判别性骨架表示。广泛的实验验证了 MoCos 在现有最先进模型之上的优越性能。我们进一步展示了其在 RGB 估计骨架、不同图模型和无监督场景下的通用性。
引用
@article{arxiv.2412.09044,
title = {Motif Guided Graph Transformer with Combinatorial Skeleton Prototype Learning for Skeleton-Based Person Re-Identification},
author = {Haocong Rao and Chunyan Miao},
journal= {arXiv preprint arXiv:2412.09044},
year = {2025}
}
备注
Accepted by AAAI 2025. Codes are available at https://github.com/Kali-Hac/MoCos. The Appendix A for Experiments (13 pages) and Appendix B for Theoretical Analysis (5 pages) are included in the version [v1] at arXiv:2412.09044