ASL Champ!：一款基于深度学习手语识别的虚拟现实游戏
人机交互
2024-01-02 v1
摘要
我们在虚拟现实（VR）环境中开发了一个美国手语（ASL）学习平台，旨在为 ASL 学习者提供沉浸式互动和实时反馈。我们描述了第一款采用互动教学风格的游戏，用户可从流利的手语虚拟形象中学习，这也是首款在 VR 环境中利用深度学习实现 ASL 手语识别的应用。先进的动作捕捉技术为沉浸式三维环境中的 expressive ASL 教学虚拟形象提供了支持。教师演示物体的 ASL 手势，提示用户模仿该手势。当用户打出手势后，第三方插件会与深度学习模型一起执行手势识别过程。根据用户手势产生的准确度，虚拟形象会重复该手势或引入新手势。我们收集了来自 15 位多样化参与者的 3D VR ASL 数据集，以支持手势识别模型。所提出的深度学习模型的训练、验证和测试准确率分别为 90.12%、89.37% 和 86.66%。该功能原型可以教授手语词汇，并可成功适配为 VR 中的交互式 ASL 学习平台。
引用
@article{arxiv.2401.00289,
title = {ASL Champ!: A Virtual Reality Game with Deep-Learning Driven Sign Recognition},
author = {Md Shahinur Alam and Jason Lamberton and Jianye Wang and Carly Leannah and Sarah Miller and Joseph Palagano and Myles de Bastion and Heather L. Smith and Melissa Malzkuhn and Lorna C. Quandt},
journal= {arXiv preprint arXiv:2401.00289},
year = {2024}
}
备注
36 pages, 9 figures