面向完整视角与高层级基于姿态的步态识别
计算机视觉与模式识别
2022-09-26 v1
摘要
基于模型的步态识别方法通常采用行人行走姿态来识别人体。然而，现有方法未显式解决因相机视角变化引起的人体姿态类内大方差问题。本文提出通过下-上生成对抗网络（LUGAN）学习满秩变换矩阵，为每个单视角姿态样本生成多视角姿态序列。借助相机成像先验，我们推导出跨视角姿态间的空间坐标满足满秩矩阵的线性变换，因此本文采用对抗训练从源姿态与目标视角学习变换矩阵以获得目标姿态序列。为此，我们实现了一个由图卷积（GCN）层、全连接（FC）层和双分支卷积（CNN）层组成的生成器：GCN层与FC层编码源姿态序列与目标视角，随后CNN分支分别学习下三角矩阵与上三角矩阵，最终相乘构成满秩变换矩阵。为进行对抗训练，我们进一步设计了一个条件判别器以区分姿态序列为真或生成。为实现高层级关联学习，我们提出一个名为多尺度超图卷积（HGC）的即插即用模块来替换基线中的空间图卷积层，其可同时建模关节级、部位级与身体级关联。在CASIA-B与OUMVLP-Pose两个大型步态识别数据集上的大量实验表明，我们的方法大幅优于基线模型与现有基于姿态的方法。
引用
@article{arxiv.2209.11577,
title = {Towards Complete-View and High-Level Pose-based Gait Recognition},
author = {Honghu Pan and Yongyong Chen and Tingyang Xu and Yunqi He and Zhenyu He},
journal= {arXiv preprint arXiv:2209.11577},
year = {2022}
}