基于难骨架挖掘的分层骨架元原型对比学习用于无监督行人重识别
摘要
随着深度传感器与深度学习的快速发展，基于骨架的行人重识别（re-ID）模型近年来凭借诸多优势取得了显著进展。现有多数方法从身体关节学习单层级骨架特征，并假设各骨架重要性相等，通常缺乏从肢体层级等更具全局身体模式的多种层级中挖掘信息更丰富的骨架特征的能力。这些方法的标签依赖性也限制了其学习更具通用性骨架表示的灵活性。本文提出一种通用的无监督分层骨架元原型对比学习（Hi-MPC）方法，结合难骨架挖掘（HSM），用于无标签三维骨架的行人重识别。首先，我们构建骨架的分层表示，从身体关节、部件和肢体层级建模由粗到细的身体与运动特征。随后提出一种分层元原型对比学习模型，对不同层级骨架中最典型的骨架特征（“原型”）进行聚类与对比。通过将原始原型转换为经多种同质变换的元原型，我们引导模型学习原型的内在一致性，从而捕获更有效的骨架特征用于行人重识别。此外，我们设计了一种难骨架挖掘机制，自适应推断各骨架的信息重要性，以聚焦于更难骨架来学习更具判别力的骨架表示。在五个数据集上的大量评估表明，我们的方法优于多种最先进的基于骨架的方法。我们进一步展示了该方法对跨视角行人重识别及基于RGB估计骨架场景的通用适用性。
引用
@article{arxiv.2307.12917,
title = {Hierarchical Skeleton Meta-Prototype Contrastive Learning with Hard Skeleton Mining for Unsupervised Person Re-Identification},
author = {Haocong Rao and Cyril Leung and Chunyan Miao},
journal= {arXiv preprint arXiv:2307.12917},
year = {2023}
}
备注
Published at International Journal of Computer Vision (IJCV) 2023. Codes are available at https://github.com/Kali-Hac/Hi-MPC. The Appendix A for Proof (6 pages) and Appendix B for Experiments (13 pages) are included in the version [v3] at arXiv:2307.12917