实时印度手语（ISL）识别
计算机视觉与模式识别
2021-08-26 v1 人机交互
摘要
本文提出了一种利用基于网格的特征实时识别印度手语（ISL）手势和姿态的系统。该系统旨在弥合听力和语言障碍者与社会其他成员之间的沟通鸿沟。现有解决方案要么准确率相对较低，要么无法实时工作。本系统在这两个参数上均提供了良好结果。它可以识别 ISL 中的 33 种手部姿态和一些手势。手语通过智能手机摄像头捕获，其帧被传输到远程服务器进行处理。避免了使用任何外部硬件（如手套或 Microsoft Kinect 传感器），使其用户友好。使用了人脸检测、对象稳定和肤色分割等技术进行手部检测和跟踪。图像进一步经过基于网格的特征提取技术处理，以特征向量的形式表示手部姿态。然后使用 k-最近邻算法对手部姿态进行分类。另一方面，对于手势分类，运动和中间手部姿态观察序列被馈送到对应于 ISL 中定义的 12 个预选手势的隐马尔可夫模型链。使用这种方法，该系统对静态手部姿态的识别准确率达到 99.7%，对手势识别的准确率达到 97.23%。
引用
@article{arxiv.2108.10970,
title = {Real-time Indian Sign Language (ISL) Recognition},
author = {Kartik Shenoy and Tejas Dastane and Varun Rao and Devendra Vyavaharkar},
journal= {arXiv preprint arXiv:2108.10970},
year = {2021}
}
备注
9 pages