GaitFi：基于 WiFi 与视觉多模态学习的鲁棒无设备人体识别
计算机视觉与模式识别
2022-08-31 v1 人工智能
摘要
作为人体识别的一项重要生物标志，人体步态可由被动传感器在远距离且不依赖受试者配合的情况下采集，在犯罪预防、安全检测及其他人体识别应用中发挥着重要作用。目前，多数研究工作基于相机与计算机视觉技术进行步态识别。然而，视觉方法在光照不佳时不可靠，导致性能下降。本文提出一种新颖的多模态步态识别方法，即 GaitFi，其利用 WiFi 信号与视频进行人体识别。在 GaitFi 中，采集反映 WiFi 多径传播的信道状态信息（CSI）以捕捉人体步态，同时由相机捕获视频。为学习鲁棒步态信息，我们提出轻量残差卷积网络（LRCN）作为骨干网络，并进一步提出通过融合 WiFi 与视觉特征用于步态检索任务的两流 GaitFi。GaitFi 由三元组损失与分类损失在不同层级特征上训练。在真实世界中进行了大量实验，表明 GaitFi 优于基于单一 WiFi 或相机的先进步态识别方法，在 12 名受试者的人体识别任务中达到 94.2%。
引用
@article{arxiv.2208.14326,
title = {GaitFi: Robust Device-Free Human Identification via WiFi and Vision Multimodal Learning},
author = {Lang Deng and Jianfei Yang and Shenghai Yuan and Han Zou and Chris Xiaoxuan Lu and Lihua Xie},
journal= {arXiv preprint arXiv:2208.14326},
year = {2022}
}
备注
12 pages, 8 figures, accepted by IEEE Internet of Things Journal