基于骨架的人员重识别中基于多级图编码与结构-协作关系学习的方法
计算机视觉与模式识别
2021-06-08 v1
摘要
基于骨架的人员重识别(Re-ID)是一个新兴的开放课题,对安全关键应用具有重要价值。现有方法通常提取手工特征或从身体关节轨迹建模骨架动态,却很少探索身体结构或运动中包含的有价值关系信息。为充分探索身体关系,我们构建图从不同层级建模人体骨架,并首次提出一种具有结构-协作关系学习的多级图编码方法(MG-SCR)来编码判别性图特征用于人员Re-ID。具体而言,考虑到骨架中结构连接的身体部件高度相关,我们首先提出多头结构关系层以学习图中相邻身体部件节点的不同关系,这有助于聚合关键相关特征以获得有效节点表示。其次,受行走时身体部件协作通常携带可识别模式的启发,我们提出跨层级协作关系层以推断不同层级部件间的协作,从而捕获更具判别力的骨架图特征。最后,为增强图动态编码,我们提出一种新颖的自监督稀疏序列预测任务用于模型预训练,其有助于编码高层图语义用于人员Re-ID。MG-SCR优于最先进的基于骨架的方法,并且取得了优于许多利用额外RGB或深度特征的多模态方法的性能。我们的代码见https://github.com/Kali-Hac/MG-SCR。
引用
@article{arxiv.2106.03069,
title = {Multi-Level Graph Encoding with Structural-Collaborative Relation Learning for Skeleton-Based Person Re-Identification},
author = {Haocong Rao and Shihao Xu and Xiping Hu and Jun Cheng and Bin Hu},
journal= {arXiv preprint arXiv:2106.03069},
year = {2021}
}
备注
Accepted at IJCAI 2021 Main Track. Sole copyright holder is IJCAI. Codes are available at https://github.com/Kali-Hac/MG-SCR