面向头戴式 AR 设备的自我中心手势识别
计算机视觉与模式识别
2018-08-17 v1
摘要
在 AR/VR 环境中与虚拟对象进行自然交互可带来流畅的用户体验。手势是从现实世界延伸到增强空间以实现这些交互的自然方式。在自我视角下寻找与手势和手相关的具有判别性的时空特征是识别自我中心手势的主要挑战。本工作中，我们提出一种数据驱动的端到端深度学习方法以解决自我中心手势识别问题，该方法结合一个自我中心手部编码器网络来提取自我中心手部特征，以及一个循环神经网络来辨识具有时间判别性的特征。由于深度学习网络对数据需求量大，我们提出一种使用绿幕捕获的新颖数据增强技术，以缓解真值标注问题。此外，我们发布了一个数据集，包含在绿幕前以自然方式执行的 10 种手势用于训练，以及在不同自然场景中没有绿幕的相同 10 种手势用于验证。我们还展示了使用 AirGest 数据集将我们网络性能与最先进方法进行比较的结果。
引用
@article{arxiv.1808.05380,
title = {Egocentric Gesture Recognition for Head-Mounted AR devices},
author = {Tejo Chalasani and Jan Ondrej and Aljosa Smolic},
journal= {arXiv preprint arXiv:1808.05380},
year = {2018}
}