RingGesture：基于深度学习单词预测框架的环形中空手势输入系统
计算机视觉与模式识别
2024-10-25 v1 人工智能
计算与语言
摘要
文本输入是现代计算体验中的关键能力，轻型增强现实（AR）眼镜也不例外。由于轻型 AR 眼镜的佩戴舒适性限制了包括多个摄像头在内的以广视场为特征的手部跟踪硬件，因此亟需一种额外的输入设备。我们提出了一种解决此问题的系统：RingGesture，即一种基于戒指的中空手势输入技术，利用电极标记手势轨迹的起始和结束位置，以及惯性测量单元（IMU）传感器进行手部跟踪。该方法提供类似 VR 头显中射线投射式中空手势输入的直观体验，使手部运动能够无缝转化为光标导航。为提高准确性和输入速度，我们提出了一种新型深度学习单词预测框架 Score Fusion，包含三个关键组件：① 一个单词-手势解码模型，② 一个空间拼写纠错模型，③ 一个轻量级情境语言模型。该框架通过融合三个模型的得分来预测最可能的单词，从而实现更高的精度。我们进行了比较性和纵向研究，以证明两个关键发现：首先，RingGesture 的总体效果良好，平均文本输入速度为 27.3 字每分钟（WPM），最高性能达 47.9 WPM。其次，我们强调 Score Fusion 框架的优越性能，该框架相对于常规单词预测框架 Naive Correction 在未纠错字符错误率（uncorrected Character Error Rate）上实现了 28.2% 的改进，使 RingGesture 的文本输入速度提升了 55.2%。此外，RingGesture 获得了 83 分的用户可用性得分，凌显其出色的用户体验。
引用
@article{arxiv.2410.18100,
title = {RingGesture: A Ring-Based Mid-Air Gesture Typing System Powered by a Deep-Learning Word Prediction Framework},
author = {Junxiao Shen and Roger Boldu and Arpit Kalla and Michael Glueck and Hemant Bhaskar Surale Amy Karlson},
journal= {arXiv preprint arXiv:2410.18100},
year = {2024}
}