基于多级图关系建模的骨架原型对比学习用于无监督行人重识别
计算机视觉与模式识别
2022-08-26 v1 人工智能
摘要
通过 3D 骨架进行行人重识别 (re-ID) 是一个具有重要价值的新兴课题。现有方案很少探索骨架结构或运动中有价值的身体部件关系，且通常缺乏利用无标签骨架数据学习通用表示以用于行人重识别的能力。本文提出一种通用的无监督骨架原型对比学习范式结合多级图关系学习 (SPC-MGR)，从无标签骨架中学习有效表示以执行行人重识别。具体而言，我们首先构建统一的多级骨架图，以充分建模骨架内的身体结构。然后提出多头结构关系层，全面捕获图中物理连接的身体部件节点之间的关系。利用全级协作关系层推断各层级中与运动相关的身体部位之间的协作，从而捕获丰富的身体特征与可识别的行走模式。最后，提出骨架原型对比学习方案，对无标签图表示中特征相关的实例进行聚类，并将其与代表性骨架特征（“骨架原型”）的固有相似性进行对比，以学习判别性的骨架表示用于行人重识别。实证评估表明，SPC-MGR 显著优于多种最先进的基于骨架的方法，并且在更通用场景下也取得了极具竞争力的行人重识别性能。
引用
@article{arxiv.2208.11814,
title = {Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation Modeling for Unsupervised Person Re-Identification},
author = {Haocong Rao and Chunyan Miao},
journal= {arXiv preprint arXiv:2208.11814},
year = {2022}
}
备注
Submitted to TPAMI in 2021. Pleliminary version of this work has been accepted for oral presentation at IJCAI 2021. Our codes are available at https://github.com/Kali-Hac/SPC-MGR