使用 MediaPipe Holistic 的印度手语识别

聋人在日常生活中面临显著的沟通障碍。他们听力的缺失使得与不懂手语的人交流困难。此外，这在教育、职业和社交情境中带来困难。通过提供替代性沟通渠道，技术可在克服这些障碍中发挥关键作用。手语识别正是能够促进聋人与听力正常者之间沟通的一项技术。我们将创建一个鲁棒的手语识别系统，以将印度手语转换为文本或语音。我们将评估所提出的系统并比较 CNN 和 LSTM 模型。由于存在静态和手势手语，需要一个鲁棒模型来区分它们。在本研究中，我们发现 CNN 模型在静态手语识别中比 LSTM 模型更好地捕捉字母和字符，但 LSTM 通过在手势手语短语和句子中监测手、脸和姿态优于 CNN。创建文本到手语范式至关重要，因为它将提升依赖手语的聋人和重听人群的沟通技能。尽管手语到文本的翻译只是沟通的一个方面，但并非所有聋人或重听人都精通阅读或书写文本。一些人可能因教育或识字问题而难以理解书面语言。因此，文本到手语范式将使他们能够理解基于文本的信息并参与各种社会、教育和职业环境。