面向实时手语识别的轻量化 DNN 模型开发——在数据有限的情况下

我们提出了一种 novel 框架，用于使用在有限数据上训练的轻量化 DNN 实现实时手语识别。该系统解决了手语识别中的关键挑战，包括数据稀缺、高计算成本以及训练与推理环境之间帧率的差异。通过将手语特定参数（如手势、掌朝向、运动和位置）编码为向量化输入，并利用 MediaPipe 进行关键点提取，我们实现了高度可分离的输入数据表示。我们的 DNN 架构经过优化，可实现小于 10MB 的部署，在边缘设备上实现对 343 个手势的精确分类，延迟不足 10ms。数据标注平台 'slait data' 促进了结构化标注和向量提取。我们的模型在孤立手势识别中实现了 92% 的准确率，并已集成到 'slait ai' web 应用程序中，演示了稳定的推理。