SM-SGE：一种用于行人重识别的自监督多尺度骨架图编码框架
计算机视觉与模式识别
2021-07-06 v1 人工智能
摘要
基于三维骨架的行人重识别是一个在安全关键应用中极具潜力的新兴课题。现有方法通常从身体关节轨迹中学习身体与运动特征，却缺乏在身体关节尺度之外系统建模身体结构及身体部件潜在关系的方式。本文首次提出一种自监督多尺度骨架图编码（SM-SGE）框架，从多尺度无标签骨架图全面建模人体、部件关系与骨架动态，以学习有效的骨架表征用于行人重识别。具体而言，我们首先设计由粗到细人体划分的多尺度骨架图，从而能在多个层次建模身体结构与骨架动态。其次，为挖掘骨骼运动中身体部件间固有关联，我们提出多尺度图关系网络，以学习相邻身体部件节点间结构关系与不同尺度节点间协作关系，从而捕获更具判别力的骨架图特征。最后，我们提出新颖多尺度骨架重建机制，使框架能从无标签骨架图编码骨架动态与高层语义，促使学习具判别力的骨架表征用于行人重识别。大量实验表明 SM-SGE 优于多数最先进基于骨架的方法。我们进一步展示了其在从大规模 RGB 视频估计的三维骨架数据上的有效性。我们的代码开源于 https://github.com/Kali-Hac/SM-SGE。
引用
@article{arxiv.2107.01903,
title = {SM-SGE: A Self-Supervised Multi-Scale Skeleton Graph Encoding Framework for Person Re-Identification},
author = {Haocong Rao and Xiping Hu and Jun Cheng and Bin Hu},
journal= {arXiv preprint arXiv:2107.01903},
year = {2021}
}
备注
Accepted at ACMMM 2021 Main Track. Sole copyright holder is ACMMM. Codes are available at https://github.com/Kali-Hac/SM-SGE