GestARLite：一种基于指向手指手势接口的智能手机与视频透视头戴设备端方案
计算机视觉与模式识别
2019-04-23 v1
摘要
在混合现实(MR)应用中，手势构成了直观的交互手段。然而，精确的手势识别仅能通过最先进的深度学习模型或昂贵传感器实现。尽管这些深度学习模型具有鲁棒性，它们通常计算昂贵，且在设备端获得实时性能仍具挑战。为此，我们提出了一种新颖的轻量级手势识别框架，可在可穿戴设备的前视视角下工作。模型在GPU机器上训练并移植到Android智能手机，以配合如Google Cardboard和VR Box等廉价可穿戴设备使用。所提出的手势识别框架由一系列最先进深度学习模型级联驱动：MobileNetV2用于手部定位，我们定制的指尖回归架构随后接Bi-LSTM模型用于手势分类。我们在自有的EgoGestAR数据集上对该框架进行了广泛评估。整体框架在移动设备上实时工作，在EgoGestAR视频数据集上达到80%的分类准确率，平均延迟仅0.12秒。
引用
@article{arxiv.1904.09843,
title = {GestARLite: An On-Device Pointing Finger Based Gestural Interface for Smartphones and Video See-Through Head-Mounts},
author = {Varun Jain and Gaurav Garg and Ramakrishna Perla and Ramya Hebbalaguppe},
journal= {arXiv preprint arXiv:1904.09843},
year = {2019}
}
备注
The AAAI 2019 Workshop on Plan, Activity, and Intent Recognition. arXiv admin note: substantial text overlap with arXiv:1904.06122