基于骨架的步态识别中条件自适应图卷积学习
计算机视觉与模式识别
2023-08-15 v1
摘要
图卷积网络已广泛应用于基于骨架的步态识别。该任务的一个关键挑战是在不同视角下区分不同受试者的个体行走风格。现有最优方法采用统一卷积从多样化序列中提取特征,忽略了视角变化的影响。为克服这些局限,我们提出一种条件自适应图(CAG)卷积网络,可动态适应各骨架序列及对应视角的特定属性。与使用对所有关节和序列固定权重不同,我们在 CAG 方法中引入关节特定滤波器学习(JSFL)模块,在关节层级生成序列自适应滤波器。这些自适应滤波器捕获各关节独有的细粒度模式,从而能够提取身体部位的多样化时空信息。此外,我们设计了视角自适应拓扑学习(VATL)模块,生成自适应图拓扑。这些图拓扑用于根据特定视角条件自适应地关联关节。因此,CAG 可同时适应不同行走风格与视角。在两个最广泛使用的数据集(即 CASIA-B 与 OU-MVLP)上的实验表明,CAG 超越了所有已有的基于骨架的方法。此外,将 CAG 与基于外观的方法简单结合可提升识别性能,证明了 CAG 提供有用互补信息的能力。源代码将发布于 https://github.com/OliverHxh/CAG。
引用
@article{arxiv.2308.06707,
title = {Condition-Adaptive Graph Convolution Learning for Skeleton-Based Gait Recognition},
author = {Xiaohu Huang and Xinggang Wang and Zhidianqiu Jin and Bo Yang and Botao He and Bin Feng and Wenyu Liu},
journal= {arXiv preprint arXiv:2308.06707},
year = {2023}
}
备注
Accepted by TIP journal