构建于边缘计算平台上的基于雷达的实时手势检测与识别
信号处理
2020-05-21 v1
摘要
本文提出一种基于 60 GHz 调频连续波（FMCW）雷达系统的实时信号处理框架以识别手势。为提升基于雷达的手势识别系统的鲁棒性，该框架在多个测量周期内提取包括距离、多普勒、方位角与仰角在内的综合手部轮廓，并将其编码为特征立方体。所提框架并非将距离-多普勒谱序列输入连接循环神经网络的深度卷积神经网络（CNN），而是将上述特征立方体作为浅层 CNN 的输入用于手势识别，以降低计算复杂度。此外，我们开发了手部活动检测（HAD）算法，以在实时情形下自动检测手势。所提 HAD 能捕获手势结束的时间戳，并将该时间戳前所有相关测量周期的手部轮廓低时延地送入 CNN。由于该框架能以有限计算成本检测并分类手势，其可部署于边缘计算平台用于实时应用，而该平台性能明显逊于最先进的个人计算机。实验结果表明，所提框架能够以高 F1 分数实时分类 12 种手势。
引用
@article{arxiv.2005.10145,
title = {Real-Time Radar-Based Gesture Detection and Recognition Built in an Edge-Computing Platform},
author = {Yuliang Sun and Tai Fei and Xibo Li and Alexander Warnecke and Ernst Warsitz and Nils Pohl},
journal= {arXiv preprint arXiv:2005.10145},
year = {2020}
}
备注
Accepted for publication in IEEE Sensors Journal. A video is available on https://youtu.be/IR5NnZvZBLk