基于手势识别的AR/VR可穿戴设备文本输入方法

静态与动态手部动作是人机交互的基本方式。为识别并分类这些动作，首先由安装在增强现实（AR）或虚拟现实（VR）可穿戴设备上的摄像头捕获这些动作。利用分割方法将手部分割，并将其手势传入手势识别算法；该算法依赖于深度可分离卷积神经网络进行训练、测试，并最终在移动端AR/VR设备上流畅运行，同时保持精度并平衡负载。系统对多个手势进行处理以识别正确手势、对手势分类并忽略所有间歇手势。借助所提方法，用户仅需在空中移动手即可在空中书写字母与数字。系统执行基于手势的操作，并记录手部轨迹作为手写文本。最后，对该手写文本进行处理以实现文本识别。