WristSonic:利用主动声学传感在智能手表上实现细粒度手脸交互
人机交互
2024-11-14 v1
摘要
手脸交互在许多日常任务中扮演着关键角色,能揭示用户的习惯、行为、意图和表情。然而,现有的可穿戴传感系统由于依赖多个传感器或对隐私敏感的视觉方法,往往难以在日常环境中追踪这些交互。为应对这些挑战,我们提出了WristSonic,一种腕戴式主动声学传感系统,它利用扬声器和麦克风捕捉来自手、臂和面部运动的超声波反射,从而以最小的侵入性实现细粒度的手脸交互检测。通过发射和分析超声波,WristSonic采用基于Transformer的神经网络架构,能够区分各种手势,如敲击太阳穴、刷牙和点头。该方法通过单一、低功耗且注重隐私的可穿戴设备,实现了对21种不同动作的鲁棒识别。通过在受控和半自然环境中对15名参与者进行的两项用户研究,WristSonic展示了其高效性,分别取得了93.08%和82.65%的宏F1分数。
引用
@article{arxiv.2411.08217,
title = {WristSonic: Enabling Fine-grained Hand-Face Interactions on Smartwatches Using Active Acoustic Sensing},
author = {Saif Mahmud and Kian Mahmoodi and Chi-Jung Lee and Francois Guimbretiere and Cheng Zhang},
journal= {arXiv preprint arXiv:2411.08217},
year = {2024}
}
备注
21 Pages, 10 Figures, Under Review