跨模态步态识别：桥接LiDAR与摄像机模态以实现人类识别
计算机视觉与模式识别
2024-04-08 v1
摘要
当前步态识别研究主要集中于识别由同一类型传感器捕获的行人，忽视了个体可能为适应各种环境而使用不同传感器捕获的事实。更实用的做法应涉及跨不同传感器之间的跨模态匹配。因此，本文聚焦于跨模态步态识别问题，旨在准确识别跨越不同视觉传感器的行人。我们提出CrossGait，灵感来源于特征对齐策略，能够跨模态检索多样化数据。具体而言，我们通过在每个模态内提取特征，然后在模态之间对齐这些特征来探索跨模态识别任务。为进一步提高跨模态性能，我们提出了原型共享注意力模块，从两种模态特定特征中学习模态共享特征。此外，我们设计了跨模态特征适配器，将所学模态特定特征转换为统一特征空间。在SUSTech1K数据集上进行的广泛实验表明，CrossGait的有效性体现在：(1)它在不同场景中从不同传感器获取的各种模态之间检索行人的跨模态能力表现突出；(2)CrossGait不仅为跨模态步态识别学习模态共享特征，还保持了单模态识别的模态特定特征。
引用
@article{arxiv.2404.04120,
title = {Cross-Modality Gait Recognition: Bridging LiDAR and Camera Modalities for Human Identification},
author = {Rui Wang and Chuanfu Shen and Manuel J. Marin-Jimenez and George Q. Huang and Shiqi Yu},
journal= {arXiv preprint arXiv:2404.04120},
year = {2024}
}