Tesla-Rapture：基于毫米波雷达点云的轻量手势识别系统
计算机视觉与模式识别
2021-09-15 v1 机器学习
图像与视频处理
摘要
我们提出Tesla-Rapture，一种面向毫米波雷达生成点云的手势识别接口。最先进的手势识别模型要么资源消耗过高，要么在使用可穿戴或受限设备（如IoT设备（例如Raspberry PI）、XR硬件（例如HoloLens）或智能手机）集成至真实场景时精度不足。为解决此问题，我们开发了Tesla，一种用于毫米波雷达点云的消息传递神经网络（MPNN）图卷积方法。该模型在两个数据集上以更高精度超越最先进水平，同时降低计算复杂度乃至执行时间。特别地，该方法预测手势的速度几乎是最精确竞争者的8倍。我们在不同场景（环境、角度、距离）下的性能评估表明，Tesla泛化良好，并在穿墙设置和极端角度感知等挑战性场景中精度提升达20%。利用Tesla，我们开发了Tesla-Rapture，一种基于Raspberry PI 4上毫米波雷达的实时实现，并评估其精度与时间复杂度。我们还公开了源代码、训练好的模型及面向嵌入式设备的模型实现。
引用
@article{arxiv.2109.06448,
title = {Tesla-Rapture: A Lightweight Gesture Recognition System from mmWave Radar Point Clouds},
author = {Dariush Salami and Ramin Hasibi and Sameera Palipana and Petar Popovski and Tom Michoel and Stephan Sigg},
journal= {arXiv preprint arXiv:2109.06448},
year = {2021}
}
备注
The paper is submitted to the journal of Transactions on Mobile Computing. And it is still under review