AirScript——在空中创建文档
人机交互
2017-06-01 v1
摘要
本文提出一种称为AirScript的新方法，用于在空中创建、识别和可视化文档。我们提出一种称为2-DifViz的新算法，将空中手部运动(由用户佩戴的Myo臂环捕获)转换为2D笛卡尔平面上的x, y坐标序列，并在画布上可视化。现有的基于传感器的方法要么不提供视觉反馈，要么使用预定义模板表示识别的字符。相反，AirScript通过给予用户运动自由以及提供所写字符的实时视觉反馈而脱颖而出，使交互自然。AirScript提供一个识别模块来预测空中创建的文档内容。为此，我们提出一种基于深度学习的新方法，其使用传感器数据和2-DifViz创建的可视化。识别模块由一个卷积神经网络(CNN)和两个门控循环单元(GRU)网络组成。这三个网络的输出被融合以获得关于空中书写字符的最终预测。AirScript可用于高度复杂的环境，如智能教室、智能工厂或智能实验室，在那里它使人们能够在任何想要的地方无需任何参考表面来注释文本片段。我们在12名参与者的数据上针对各种知名学习模型(HMM, KNN, SVM等)评估了AirScript。评估结果表明AirScript的识别模块大幅优于所有这些模型，在独立于人的评估中达到91.7%的准确率，在依赖于人的评估中达到96.7%的准确率。
引用
@article{arxiv.1705.11181,
title = {AirScript - Creating Documents in Air},
author = {Ayushman Dash and Amit Sahu and Rajveer Shringi and John Cristian Borges Gamboa and Muhammad Zeshan Afzal and Muhammad Imran Malik and Sheraz Ahmed and Andreas Dengel},
journal= {arXiv preprint arXiv:1705.11181},
year = {2017}
}