EchoWrist：使用低功耗主动声学传感在手腕带上进行连续手部姿态跟踪与手-物交互识别
人机交互
2024-06-19 v2
摘要
我们的手是与周围世界进行交互的基本方式。因此，理解手部姿态和交互背景对于人机交互至关重要。我们提出EchoWrist，一种低功耗手腕带，可持续估计三维手部姿态并识别手-物交互。EchoWrist配备两个发射不可听见声波的扬声器指向手部。这些声波通过反射和衍射与手部及其周围环境相互作用，携带关于手部形状以及手部与物体交互的丰富信息。由两个麦克风捕获的信息通过深度学习推理系统，以恢复手部姿态并识别各种日常手部活动。来自两个12名参与者的用户研究结果表明，EchoWrist在跟踪三维手部姿态和识别手-物交互方面有效且高效。在57.9mW的功耗下，EchoWrist能够持续重建20个三维手部关节，姿态误差(MJEDE)为4.81mm，并以97.6%的准确率识别12种自然手-物交互。
引用
@article{arxiv.2401.17409,
title = {EchoWrist: Continuous Hand Pose Tracking and Hand-Object Interaction Recognition Using Low-Power Active Acoustic Sensing On a Wristband},
author = {Chi-Jung Lee and Ruidong Zhang and Devansh Agarwal and Tianhong Catherine Yu and Vipin Gunda and Oliver Lopez and James Kim and Sicheng Yin and Boao Dong and Ke Li and Mose Sakashita and Francois Guimbretiere and Cheng Zhang},
journal= {arXiv preprint arXiv:2401.17409},
year = {2024}
}