教我手语：面向手语生成的分步提示大语言模型
计算与语言
2025-07-16 v1 计算机视觉与模式识别
多媒体
摘要
大型语言模型凭借其强大的推理能力和丰富的知识，已在许多AI任务中带来变革，但其对手语生成的影响仍有限，这源于其复杂性和独特规则。本文提出了 TEAch Me Sign（TEAM-Sign），将手语视为另一种自然语言。通过微调大语言模型，使其学习文本与手语之间的对应关系，从而实现生成。鉴于手语与口语语言之间的差异，我们采用分步提示策略，从大语言模型中提取内在的手语知识，从而支持学习和生成过程。在 How2Sign 和 Phoenix14T 数据集上的实验结果表明，我们的方法有效地利用了大语言模型的手语知识和推理能力，将手语与口语语言之间的分布差异和语法规则进行对齐。
引用
@article{arxiv.2507.10972,
title = {Teach Me Sign: Stepwise Prompting LLM for Sign Language Production},
author = {Zhaoyi An and Rei Kawakami},
journal= {arXiv preprint arXiv:2507.10972},
year = {2025}
}
备注
Accepted by IEEE ICIP 2025