移动设备中基于802.11ad毫米波传感器的手势识别
信息论
2022-11-15 v1 机器学习
math.IT
摘要
我们探索了智能手机中利用802.11ad 60GHz(mmWave)技术进行AI辅助手势识别的可行性。通过脉冲多普勒雷达获取距离-多普勒信息(RDI)用于手势识别。我们搭建了一个原型系统,其中雷达感知与WLAN通信波形可通过时分双工(TDD)共存,以演示实时手势推断。它能在100毫秒内采集感知数据并预测手势。首先,我们构建了实时特征处理流水线,其对数据流中偶发的丢帧具有鲁棒性。实现了RDI序列恢复以处理连续数据流中的丢帧,并应用于数据增强。其次,分析了不同手势的RDI,手指与手部运动可清晰展现差异化特征。第三,对五种典型手势(滑动、握掌、推拉、手指滑动与噪声)进行实验,并探索了一种分类框架,以在任意输入的连续手势序列中分割不同手势。我们在大型多人数据集上评估了架构,报告使用一CNN + LSTM模型准确率>95%。进一步,开发了纯CNN模型以适配设备端实现,最小化推断延迟、功耗与计算成本。该CNN模型仅含2.29K参数且准确率超93%。
引用
@article{arxiv.2211.07090,
title = {Hand gesture recognition using 802.11ad mmWave sensor in the mobile device},
author = {Yuwei Ren and Jiuyuan Lu and Andrian Beletchi and Yin Huang and Ilia Karmanov and Daniel Fontijne and Chirag Patel and Hao Xu},
journal= {arXiv preprint arXiv:2211.07090},
year = {2022}
}
备注
6 pages, 12 figures