Mesh-Gait：基于多模态表示学习从2D轮廓进行步态识别的统一框架
计算机视觉与模式识别
2025-10-14 v1 人工智能
机器学习
摘要
步态识别是一项基础生物识别技术，利用独特的行走模式进行个体识别，通常使用2D表示，如轮廓或骨架。然而，这些方法通常难以应对视角变化、遮挡和噪声。结合3D身体形状信息的多模态方法提供了更强的鲁棒性，但计算成本高，限制了其在实时应用中的可行性。为应对这些挑战，我们引入了Mesh-Gait，一种新颖的端到端多模态步态识别框架，它直接从2D轮廓重建3D表示，有效结合了两种模态的优势。与现有方法相比，直接从3D关节点或网格学习3D特征复杂且难以与基于轮廓的步态特征融合。为克服这一点，Mesh-Gait重建3D热图作为中间表示，使模型能够有效捕捉3D几何信息，同时保持简单性和计算效率。在训练过程中，中间3D热图在监督学习下逐步重建并变得越来越精确，其中损失是在重建的3D关节点、虚拟标记和3D网格与其对应的真实值之间计算的，确保了精确的空间对齐和一致的3D结构。Mesh-Gait以计算高效的方式从轮廓和重建的3D热图中提取判别性特征。这种设计使模型能够捕捉空间和结构步态特征，同时避免了从RGB视频直接进行3D重建的巨大开销，使网络能够专注于运动动态而非无关的视觉细节。大量实验表明，Mesh-Gait达到了最先进的准确率。代码将在论文被接收后发布。
引用
@article{arxiv.2510.10406,
title = {Mesh-Gait: A Unified Framework for Gait Recognition Through Multi-Modal Representation Learning from 2D Silhouettes},
author = {Zhao-Yang Wang and Jieneng Chen and Jiang Liu and Yuxiang Guo and Rama Chellappa},
journal= {arXiv preprint arXiv:2510.10406},
year = {2025}
}