mmEgoHand：基于佩戴在头上的毫米波雷达和惯性测量单元的佩戴式手部姿态估计与手势识别
计算机视觉与模式识别
2025-07-08 v2
摘要
毫米波（mmWave）雷达的最新进展已展示了其在人类动作识别和姿态估计方面的潜力，相较于传统摄像机具有隐私保护优势，同时保持良好的遮挡鲁棒性，具有人机交互和健康护理等前景应用。然而，现有毫米波系统通常采用固定位置配置，限制了用户的移动范围，仅限于预定义区域，限制了实际部署场景。我们引入mmEgoHand，一种佩戴式egocentric系统，用于手部姿态估计，以支持手势识别、VR交互、技能数字化与评估以及机器人遥操作等应用。mmEgoHand通过将毫米波雷达与惯性测量单元（IMU）集成，实现动态感知。IMU主动补偿头部运动导致的雷达干扰，而我们 novel 的端到端Transformer架构通过多模态传感器融合同时估计3D手部关键点坐标。该双模态框架实现了毫米波热力图与IMU的时空对齐，克服了佩戴式感知场景中固有的视角不稳性。我们进一步证明，中间手部姿态表示在下游任务（例如VR手势识别）中显著提升性能。针对10名受试者在站立、坐着、躺着等3种不同姿势下完成8种手势的广泛评估，实现了90.8%的识别准确率，超越最先进的解决方案。数据集和代码已公开于https://github.com/WhisperYi/mmVR。
引用
@article{arxiv.2501.13805,
title = {mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU},
author = {Yizhe Lv and Tingting Zhang and Zhijian Wang and Yunpeng Song and Han Ding and Jinsong Han and Fei Wang},
journal= {arXiv preprint arXiv:2501.13805},
year = {2025}
}
备注
11 pages, Under Review