Spotter+GPT：利用LLM将手语 spotting 转化为句子
计算机视觉与模式识别
2025-08-12 v3
摘要
手语翻译（SLT）是一项具有挑战性的任务，旨在从手语视频生成口语句子。在本文中，我们引入了一个轻量级、模块化的SLT框架 Spotter+GPT，该框架利用大型语言模型（LLM）的能力并避免了繁重的端到端训练。Spotter+GPT将SLT任务分解为两个不同的阶段。首先，手语 spotter 识别输入视频中的单个手语。然后将 spotting 到的手语传递给LLM，由其将其转化为有意义的口语句子。Spotter+GPT消除了对SLT特定训练的要求。这显著降低了计算成本和时间需求。Spotter的源代码和预训练权重可在 https://gitlab.surrey.ac.uk/cogvispublic/sign-spotter 获取。
关键词
引用
@article{arxiv.2403.10434,
title = {Spotter+GPT: Turning Sign Spottings into Sentences with LLMs},
author = {Ozge Mercanoglu Sincan and Richard Bowden},
journal= {arXiv preprint arXiv:2403.10434},
year = {2025}
}
备注
Accepted at the 9th Workshop on Sign Language Translation and Avatar Technologies (SLTAT) in ACM International Conference on Intelligent Virtual Agents (IVA`25)