利用商用 WiFi 构建 3D 手部骨架
人机交互
2023-12-27 v1 系统与控制
系统与控制
摘要
本文提出了 HandFi，这是一种利用实用 WiFi 设备构建手部骨架的系统。与主要采用预定义手势进行模式匹配的先前 WiFi 手部感知系统不同，通过构建手部骨架，HandFi 能够支持游戏、医疗保健和智能家居等多种基于 WiFi 的手部感知下游应用。从 WiFi 信号推导骨架具有挑战性，特别是因为手掌相对于手指是主要的反射体。HandFi 开发了一种具有系列定制损失函数的新颖多任务学习神经网络，以从 WiFi 信号中捕获低级手部信息。在离线训练期间，HandFi 以原始 WiFi 信号为输入，并使用 Leap Motion 提供监督。在在线使用时，仅凭借商用 WiFi，HandFi 就能够生成 2D 手部掩码以及 3D 手部姿态。我们证明 HandFi 可以作为基础模型，使开发人员能够构建各种应用，如手指追踪和手语识别，并优于现有的基于 WiFi 的解决方案。工件可在以下网址找到：https://github.com/SIJIEJI/HandFi
引用
@article{arxiv.2312.15507,
title = {Construct 3D Hand Skeleton with Commercial WiFi},
author = {Sijie Ji and Xuanye Zhang and Yuanqing Zheng and Mo Li},
journal= {arXiv preprint arXiv:2312.15507},
year = {2023}
}