TriGait：通过三分支网络对齐并融合骨架与轮廓步态数据
计算机视觉与模式识别
2023-08-28 v1
摘要
步态识别因其非侵入性和远距离特性成为一种极具前景的身份识别生物特征技术。然而，衣着变化和视角差异等外部变化给步态识别带来了显著挑战。基于轮廓的方法保留了身体形状但忽略了内部结构信息，而基于骨架的方法保留了结构信息却忽略了外观。为充分利用两种模态的互补特性，本文提出了一种新颖的三分支步态识别框架TriGait。它以混合融合方式有效整合来自骨架与轮廓数据的特征，包括一个从外观中提取静态与运动特征的双流网络、一个简洁而有效的名为JSA-TC的模块以捕获所有关节间的依赖关系，以及第三个通过对齐并融合两模态低级特征进行跨模态学习的分支。实验结果表明了TriGait在步态识别上的优越性与有效性。所提方法在CASIA-B数据集上所有条件下的平均rank-1准确率达96.0%，在CL条件下准确率为94.3%，显著优于所有最先进的方法。源代码将发布于https://github.com/feng-xueling/TriGait/。
引用
@article{arxiv.2308.13340,
title = {TriGait: Aligning and Fusing Skeleton and Silhouette Gait Data via a Tri-Branch Network},
author = {Yan Sun and Xueling Feng and Liyan Ma and Long Hu and Mark Nixon},
journal= {arXiv preprint arXiv:2308.13340},
year = {2023}
}
备注
Accepted by IJCB 2023