解析即你所需：面向真实场景下精确步态识别
计算机视觉与模式识别
2023-09-01 v1
摘要
二值轮廓与基于关键点的骨架数十年来主导人类步态识别研究，因为它们易于从视频帧提取。尽管它们在实验室环境中的步态识别取得成功，但由于其对步态表示的低信息熵，它们在真实世界场景中通常失效。为实现真实场景下精确步态识别，本文提出一种新颖步态表示，名为步态解析序列（GPS）。GPS 是从视频帧提取的细粒度人体分割即人体解析的序列，因此其具有更高信息熵以编码行走过程中细粒度人体部件的形状与动态。此外，为有效挖掘 GPS 表示的能力，我们提出一种新颖的基于人体解析的步态识别框架，名为 ParsingGait。ParsingGait 包含一个基于卷积神经网络（CNN）的主干与两个轻量头。第一个头从 GPS 提取全局语义特征，而另一个通过图卷积网络学习部件级特征的互信息以建模人体行走的细致动态。进一步，由于缺少合适数据集，我们通过扩展大规模且具挑战性的 Gait3D 数据集构建了首个基于解析的真实场景步态识别数据集，名为 Gait3D-Parsing。基于 Gait3D-Parsing，我们全面评估了我们的方法与现有步态识别方法。实验结果显示 GPS 表示带来的准确率显著提升以及 ParsingGait 的优越性。代码与数据集见 https://gait3d.github.io/gait3d-parsing-hp 。
引用
@article{arxiv.2308.16739,
title = {Parsing is All You Need for Accurate Gait Recognition in the Wild},
author = {Jinkai Zheng and Xinchen Liu and Shuai Wang and Lihao Wang and Chenggang Yan and Wu Liu},
journal= {arXiv preprint arXiv:2308.16739},
year = {2023}
}
备注
16 pages, 14 figures, ACM MM 2023 accepted, project page: https://gait3d.github.io/gait3d-parsing-hp