HiH：一种用于无约束步态识别的多模态层级嵌套网络
计算机视觉与模式识别
2024-05-02 v2
摘要
步态识别在受控环境中已取得可喜进展，但在无约束环境中因视角变化、遮挡和行走速度变化等挑战而表现欠佳。此外，融合多模态的努力常因跨模态不兼容（尤其户外场景）而改进有限。为解决这些问题，我们提出一种多模态层级嵌套网络（HiH），其融合轮廓与姿态序列以实现鲁棒步态识别。HiH的主分支利用层级步态分解器（HGD）模块，从轮廓数据中对通用步态模式进行深度方向与模块内层级审视。该方法从整体身体动态到精细肢体运动捕获运动层级，促进跨多空间分辨率的步态属性表示。与之互补的辅助分支基于2D关节序列，丰富步态分析的时空方面。其采用可变形空间增强（DSE）模块实现姿态引导的空间注意力，以及可变形时间对齐（DTA）模块通过习得时间偏移对齐运动动态。跨多样室内外数据集的广泛评估表明HiH的最先进性能，证实了准确率与效率间的良好平衡。
引用
@article{arxiv.2311.11210,
title = {HiH: A Multi-modal Hierarchy in Hierarchy Network for Unconstrained Gait Recognition},
author = {Lei Wang and Bo Liu and Yinchi Ma and Fangfang Liang and Nawei Guo},
journal= {arXiv preprint arXiv:2311.11210},
year = {2024}
}