通过融合骨架与轮廓学习用于步态识别的丰富特征
计算机视觉与模式识别
2022-05-06 v2
摘要
步态识别从个体的行走序列中捕获步态模式以进行身份识别。大多数现有步态识别方法从轮廓或骨架中学习特征，以应对衣着、携带物品及其他外部因素的鲁棒性。然而，这两种数据模态的组合尚未被充分利用。以往的多模态步态识别方法主要采用骨架来辅助局部特征提取，忽略了骨架数据本身的判别性。本文提出一种简单而有效的双模态融合（BiFusion）网络，该网络挖掘骨架中的判别性步态模式，并与轮廓表示相融合以学习用于身份识别的丰富特征。特别地，利用骨架中身体关节固有的层次语义设计了一种新颖的多尺度步态图（MSGG）网络用于骨架特征提取。在CASIA-B和OUMVLP上的大量实验证明了所提MSGG网络在建模骨架方面的优越性以及双模态融合用于步态识别的有效性。在CASIA-B上不同衣着行走这一最具挑战性的条件下，我们的方法取得了92.1%的rank-1准确率。
引用
@article{arxiv.2110.13408,
title = {Learning Rich Features for Gait Recognition by Integrating Skeletons and Silhouettes},
author = {Yunjie Peng and Kang Ma and Yang Zhang and Zhiqiang He},
journal= {arXiv preprint arXiv:2110.13408},
year = {2022}
}
备注
The paper is under consideration at Multimedia Tools and Applications