凝视手势及其在头戴式显示器人机交互中的应用
人机交互
2019-10-17 v1 计算机视觉与模式识别
摘要
头戴式显示器 (HMD) 是一种便携式交互显示设备。随着 5G 技术的发展，它未来可能成为通用计算平台。近年来，用于 HMD 的人机交互 (HCI) 技术也备受关注。除了追踪手势和语音外，将人眼追踪作为一种交互手段也非常有效。在本文中，我们提出了两个基于 UnityEyes 的卷积神经网络模型，UEGazeNet 和 UEGazeNet*，分别可用于低分辨率和高分辨率的输入图像。这些模型通过对凝视轨迹 (GT) 进行分类来实现快速交互，并且我们利用自己的凝视追踪方法建立了一个 GTgestures 数据集，其中包含从 15 名个体收集的 10,200 个“眼绘手势”数据。我们在室内和室外评估了性能，UEGazeNet 可以获得比当前最先进网络好 52% 和 67% 的结果。我们使用多种凝视追踪模型评估了 GTgestures 数据集的泛化能力，我们的方法获得了 96.71% 的平均识别率。
引用
@article{arxiv.1910.07428,
title = {Gaze Gestures and Their Applications in human-computer interaction with a head-mounted display},
author = {W. X. Chen and X. Y. Cui and J. Zheng and J. M. Zhang and S. Chen and Y. D. Yao},
journal= {arXiv preprint arXiv:1910.07428},
year = {2019}
}