利用 LLM 增强美国手语与印度手语间的手语翻译
计算与语言
2024-11-20 v1 人工智能
摘要
我们提出了一项研究，希望在美国手语使用者与口语及印度手语（ISL）使用者之间搭建桥梁。该研究使我们能够为学习系统开发一个新颖的框架。利用大模型技术创建包括以下关键特性：- 高效地实现这两种手语之间的实时翻译。使 LLM 的能力可用于向 ISL 的无缝翻译。本文展示了其完整研究与实现。该系统的核心是一个复杂的流水线，始于基于强大的随机森林分类器对 ASL 手势的重新分类与识别。通过识别 ASL，将其翻译为更易于处理的文本。高度发展的自然语言处理（NLP）技术发挥了作用，它们在我们的 LLM 集成中扮演重要角色，随后使用 LLM 将 ASL 文本转换为 ISL，从而提供句子或短语的意图。最后一步是使用 RIFE-Net 将翻译后的文本合成为 ISL 手势，创造端到端的翻译体验。该框架旨在应对关键挑战，如自动处理手势变异性并克服 ASL 与 ISL 之间的语言差异。通过自动化翻译过程，我们希望极大地改善手语用户的可访问性。ASL 与 ISL 之间的沟通鸿沟将不再构成障碍；这一极具创新性的工作旨在使我们的社区更加紧密。并且我们对该框架充满信心，相信能够将相同的原则应用于多种手语方言。
引用
@article{arxiv.2411.12685,
title = {Enhanced Sign Language Translation between American Sign Language (ASL) and Indian Sign Language (ISL) Using LLMs},
author = {Malay Kumar and S. Sarvajit Visagan and Tanish Sarang Mahajan and Anisha Natarajan},
journal= {arXiv preprint arXiv:2411.12685},
year = {2024}
}