LLM 是优秀的手语翻译器

Jia Gong; Lin Geng Foo; Yixuan He; Hossein Rahmani; Jun Liu

LLM 是优秀的手语翻译器

计算机视觉与模式识别 2024-04-02 v1 计算与语言

作者: Jia Gong , Lin Geng Foo , Yixuan He , Hossein Rahmani , Jun Liu

摘要

手语翻译（SLT）是一项具有挑战性的任务，旨在将手语视频翻译成口语。受在广泛多语言文本语料库上训练的大语言模型（LLM）强大翻译能力的启发，我们旨在利用现成的 LLM 来处理 SLT。在本文中，我们将手语视频规范化以体现口语的语言特征，并提出了一种新颖的 SignLLM 框架，将手语视频转换为类语言表示，以提高现成 LLM 的可读性。SignLLM 包含两个关键模块：(1) 向量量化视觉手语模块将手语视频转换为离散字符级手语 token 序列，(2) 码本重建与对齐模块使用最优传输公式将这些字符级 token 转换为词级手语表示。手语-文本对齐损失进一步弥合了手语 token 和文本 token 之间的差距，增强了语义兼容性。我们在两个广泛使用的 SLT 基准上实现了 SOTA 的无 gloss 结果。

关键词

手语翻译大语言模型向量量化最优传输 token 对齐视觉-语言表示

引用

@article{arxiv.2404.00925,
  title  = {LLMs are Good Sign Language Translators},
  author = {Jia Gong and Lin Geng Foo and Yixuan He and Hossein Rahmani and Jun Liu},
  journal= {arXiv preprint arXiv:2404.00925},
  year   = {2024}
}

备注

Accepted to CVPR 2024

LLM 是优秀的手语翻译器

摘要

关键词

引用

备注

相关论文