由手势引导的二维显示设备上形状的视觉绘制
人机交互
2019-04-05 v1 计算机视觉与模式识别
机器学习
机器学习
摘要
无接触用户界面在各种场景中的设计正日益流行。使用此类界面，用户即便双手脏污或不导电也能与电子设备交互。此外，部分身体残疾的用户也可借助此类系统与电子设备交互。由于 Leap Motion、Kinect 或 RealSense 等低成本传感器的出现，该方向的研究获得了重大推动。本文中，我们提出一种基于 Leap Motion 控制器的方法，以方便在显示设备上绘制 2D 和 3D 形状。所提方法在用户于传感器视场内做出自然手势时追踪手指运动。下一阶段，对轨迹进行分析以提取 3D 中的扩展 Npen++ 特征。这些特征表示手势过程中的手指运动，并被送入单向从左到右隐马尔可夫模型（HMM）进行训练。我们提出了手势与形状之间的一一映射。最后，使用 MuPad 接口在显示器上绘制与这些手势对应的形状。我们创建了一个由 10 名志愿者记录的 5400 个样本的数据集。我们的数据集包含 18 种几何形状和 18 种非几何形状，如“圆”、“矩形”、“花”、“圆锥”、“球体”等。所提方法在采用 5 折交叉验证评估时达到了 92.87% 的准确率。我们的实验表明，在形状表示与分类背景下，扩展 3D 特征优于现有 3D 特征。该方法可用于为智能显示设备开发有用的 HCI 应用。
引用
@article{arxiv.1810.10581,
title = {Visual Rendering of Shapes on 2D Display Devices Guided by Hand Gestures},
author = {Abhik Singla and Partha Pratim Roy and Debi Prosad Dogra},
journal= {arXiv preprint arXiv:1810.10581},
year = {2019}
}
备注
Submitted to Elsevier Displays Journal, 32 pages, 18 figures, 7 tables