Grab-n-Go：携物微手势识别
人机交互
2025-08-18 v1
摘要
随着计算设备越来越多地融入日常生活，亟需一种直观且随时可用的交互方式，即使用户手部被占用时亦可。本文我们引入 Grab-n-Go，这是首个利用主动声学感知识别携物时细微手部微手势的可穿戴设备。不同于既有系统仅关注空手手势或基础手部-物体活动识别，Grab-n-Go 能够单一腕带同步捕获手部微手势、抓握姿态以及物体几何信息，从而实现占用手部状态下的细粒度手部运动识别。深度学习框架处理这些复杂信号，识别出 30 种 distinct 微手势，每个抓握姿态对应 6 种微手势。在 10 名参与者、25 个日常物体的使用研究中，Grab-n-Go 实现了 92.0% 的平均识别准确率。跟进研究进一步验证了 Grab-n-Go 对 10 个更具挑战性的可变形物体的鲁棒性。这些结果凸显了 Grab-n-Go 能提供无感知交互的潜力，而无需修改现有物体。完整数据集包含来自 18 名参与者、30 种微手势、35 个不同物体的数据，已公开于 https://github.com/cjlisalee/Grab-n-Go_Data，DOI 为 https://doi.org/10.7298/7kbd-vv75。
引用
@article{arxiv.2508.11620,
title = {Grab-n-Go: On-the-Go Microgesture Recognition with Objects in Hand},
author = {Chi-Jung Lee and Jiaxin Li and Tianhong Catherine Yu and Ruidong Zhang and Vipin Gunda and François Guimbretière and Cheng Zhang},
journal= {arXiv preprint arXiv:2508.11620},
year = {2025}
}