面向低资源手语指令生成的带符号参数提示
人机交互
2025-08-27 v2 计算机视觉与模式识别
摘要
手语 (SL) 使听力受损及失聪社群实现双向交流，但许多手语在 AI 领域仍处于资源匮乏状态。手语指令生成 (SLIG) 产生逐步式文本指令，使非 SL 用户能够模仿和学习 SL 手势，促进双向交互。我们引入 BdSLIG，即首个孟加拉 SLIG 数据集，用于评估视觉语言模型 (VLM) (i) 在资源匮乏的 SLIG 任务上，以及 (ii) 在长尾视觉概念上，因孟加拉 SL 可能不会出现在 VLM 预训练数据中。为提升零样本性能，我们引入带符号参数注入 (SPI) 提示法，将标准 SL 参数（如手形、动作和姿态）直接整合到文本提示中。将标准手势参数纳入提示后，指令比纯然文本提示更结构化且更可复现。我们意识到本工作将促进资源匮乏社群的手语学习系统的包容性和发展。
引用
@article{arxiv.2508.16076,
title = {Prompting with Sign Parameters for Low-resource Sign Language Instruction Generation},
author = {Md Tariquzzaman and Md Farhan Ishmam and Saiyma Sittul Muna and Md Kamrul Hasan and Hasan Mahmud},
journal= {arXiv preprint arXiv:2508.16076},
year = {2025}
}
备注
CV4A11y@ICCV 2025