AirPen:一种基于无接触指尖手势的智能手机与头戴设备交互接口
人机交互
2019-04-15 v1
摘要
在混合现实(MR)和基于智能手机的应用中,手势是一种直观、社会可接受且非侵入性的交互方式。与语音接口不同,它们即使在共享和公共空间中也能表现良好。当用户 physically 触摸设备的能力受损时,手势也可用于与智能手机交互。然而,准确的手势识别可通过最先进的深度学习模型或昂贵的传感器实现。尽管这些深度学习模型鲁棒,但它们计算量大且耗内存,在无额外硬件情况下于设备上实现实时性能仍具挑战。为此,我们提出 AirPen:一种类似于纸上用笔、但在空中进行的空中书写与手势命令接口,可在第一人称与第三人称视角下无缝工作。模型在 GPU 机器上训练并移植到 Android 智能手机。AirPen 包含三个协同工作的深度学习模型:用于手部定位的 MobileNetV2、我们定制的指尖回归架构,以及用于手势分类的 Bi-LSTM 模型。整体框架在移动设备上实时运行,达到 80% 的分类准确率,平均延迟仅 0.12 s。
引用
@article{arxiv.1904.06122,
title = {AirPen: A Touchless Fingertip Based Gestural Interface for Smartphones and Head-Mounted Devices},
author = {Varun Jain and Ramya Hebbalaguppe},
journal= {arXiv preprint arXiv:1904.06122},
year = {2019}
}
备注
Presented at the CHI'19 Workshop: Addressing the Challenges of Situationally-Induced Impairments and Disabilities in Mobile Interaction, 2019 (arXiv:1904.05382)