摄像头-LiDAR 跨模态步态识别
计算机视觉与模式识别
2024-07-08 v3
摘要
步态识别是一种关键的生物识别识别技术。摄像头基于步态的识别已广泛应用于研究和工业领域。LiDAR 基于步态的识别也近期不断发展，因为其提供了 3D 结构信息。然而，在某些应用场景中，摄像头难以识别人员，例如在低光环境和长距离识别场景中，此时 LiDAR 效果更好。另一方面，LiDAR 系统的部署成本和复杂度限制了其更广泛的应用。因此，考虑摄像头和 LiDAR 之间的跨模态步态识别对于更广泛的应用场景至关重要。本文提出了首个摄像头-LiDAR 跨模态步态识别框架，称为 CL-Gait。它采用双流网络对两种模态的特征嵌入。由于 3D 与 2D 数据之间的内在匹配，以及显著的模态差异，这提出了一个具有挑战性的识别任务。为对齐两种模态的特征空间（即摄像头剪影和 LiDAR 点云），我们提出了一种对抗性预训练策略以缓解模态差异。为弥补缺乏成对摄像头-LiDAR 数据进行预训练的限制，我们还引入了一种大规模数据生成策略。该策略利用来自单个 RGB 图像的单目深度估计和虚拟摄像机生成伪点云，以进行对抗性预训练。大量实验表明，尽管跨模态步态识别非常具有挑战性，但我们提出的模型和预训练策略仍然包含潜力和可行性。据我们所知，这是首个解决跨模态步态识别的工作。
引用
@article{arxiv.2407.02038,
title = {Camera-LiDAR Cross-modality Gait Recognition},
author = {Wenxuan Guo and Yingping Liang and Zhiyu Pan and Ziheng Xi and Jianjiang Feng and Jie Zhou},
journal= {arXiv preprint arXiv:2407.02038},
year = {2024}
}
备注
Accepted at ECCV 2024