基于头部运动手势的非接触式打字
人机交互
2020-10-13 v2
摘要
在本文中，我们提出了一种新颖的非接触式打字界面，其利用屏幕上的 QWERTY 键盘和智能手机摄像头。键盘被划分为九个颜色编码的簇。用户将头部朝向包含其想要键入字母的簇移动。前置智能手机摄像头记录头部运动。采用基于双向 GRU 的模型，该模型使用富含头部姿态特征的预训练嵌入，将记录翻译为簇序列。在从 22 名用户收集的 2234 个视频序列的数据集上，该模型在用户内和跨用户场景下分别达到了 96.78% 和 86.81% 的准确率。
引用
@article{arxiv.2001.09134,
title = {Touchless Typing Using Head Movement-based Gestures},
author = {Shivam Rustagi and Aakash Garg and Pranay Raj Anand and Rajesh Kumar and Yaman Kumar and Rajiv Ratn Shah},
journal= {arXiv preprint arXiv:2001.09134},
year = {2020}
}
备注
*The two lead authors contributed equally. More details are available at https://sites.google.com/iiitd.ac.in/touchless-typing/home