SignSpeak：面向手语翻译的开源时间序列分类
计算与语言
2024-07-22 v2 人工智能
机器学习
摘要
手语流畅度不足仍是听力和语言障碍社区实现无缝沟通的障碍。本文提出一种低成本、实时的手语转语音翻译手套方案，并构建了详尽的手语模式训练数据集。我们对该数据集使用监督学习模型（如 LSTM、GRU 和 Transformer）进行基准测试，其中最佳模型达到92%准确率。SignSpeak 数据集包含7200个样本，覆盖36个类别（A-Z、1-10），旨在通过使用五个低成本 flex 传感器，在36Hz 的采样率下测量每一步手指位置，以捕捉真实的手语动作模式。我们的开源数据集、模型和手套设计提供了一种准确且高效的 ASL 翻译方案，同时保持成本效益，为后续工作提供了框架。
引用
@article{arxiv.2407.12020,
title = {SignSpeak: Open-Source Time Series Classification for ASL Translation},
author = {Aditya Makkar and Divya Makkar and Aarav Patel and Liam Hebert},
journal= {arXiv preprint arXiv:2407.12020},
year = {2024}
}
备注
6 pages, 2 figures, NeurIPS