中文

MMGait:迈向多模态步态识别

计算机视觉与模式识别 2026-04-20 v1

摘要

步态识别已成为一种强大的生物特征识别技术,可在远距离无需用户配合的情况下识别个体。大多数现有方法主要关注RGB衍生模态,这在需要多模态协作和跨模态检索的现实场景中表现不足。为克服这些挑战,我们提出了MMGait,一个全面的多模态步态基准,整合了来自五种异构传感器的数据,包括RGB相机、深度相机、红外相机、LiDAR扫描仪和4D雷达系统。MMGait包含来自725名受试者的十二种模态和334,060个序列,能够在几何、光度学和运动学领域进行系统性探索。基于MMGait,我们在单模态、跨模态和多模态范式上进行了广泛评估,以分析模态的鲁棒性和互补性。此外,我们引入了一个新任务——全多模态步态识别,旨在将上述三种步态识别范式统一在单个模型中。我们还提出了一个简单而强大的基线OmniGait,它学习跨不同模态的共享嵌入空间,并实现了有前景的识别性能。MMGait基准、代码库和预训练检查点可在https://github.com/BNU-IVC/MMGait公开获取。

关键词

引用

@article{arxiv.2604.15979,
  title  = {MMGait: Towards Multi-Modal Gait Recognition},
  author = {Chenye Wang and Qingyuan Cai and Saihui Hou and Aoqi Li and Yongzhen Huang},
  journal= {arXiv preprint arXiv:2604.15979},
  year   = {2026}
}

备注

CVPR 2026