在任何表面上打字：基于深度学习的增强现实实时按键检测方法
计算机视觉与模式识别
2023-11-03 v2 人机交互
摘要
令人沮丧的文本输入界面一直是增强现实（AR）中参与社交活动的主要障碍。流行方案如空中键盘界面、无线键盘或语音输入，要么人体工学设计差、精度有限，要么在公共场合使用令人尴尬。本文提出并验证了一种基于深度学习的方法，使 AR 应用能够从任意 AR 头显可捕获的用户视角 RGB 视频流中准确预测按键。这使得用户可在任何平面上进行打字活动，无需物理或虚拟键盘。一个两阶段模型，结合现成的手部关键点提取器和一种新颖的自适应卷积循环神经网络（C-RNN），使用我们新建的数据集进行训练。最终模型能够以约 32 FPS 自适应处理用户视角视频流。该基础模型在每分钟 40 词（wpm）的打字速度下达到 的总体准确率，该速度即普通人用双手在物理键盘上打字的速度。归一化莱文斯坦距离也进一步证实了该方法的实际适用性。有前景的结果凸显了我们方法的可行性及其集成到各类应用中的潜力。我们也讨论了将此类技术投入生产系统所需的局限性与未来研究。
引用
@article{arxiv.2309.00174,
title = {Typing on Any Surface: A Deep Learning-based Method for Real-Time Keystroke Detection in Augmented Reality},
author = {Xingyu Fu and Mingze Xi},
journal= {arXiv preprint arXiv:2309.00174},
year = {2023}
}