超越语言：AuralLLM 与 SignMST-C 用于手语制作与双向可及性
计算机视觉与模式识别
2025-04-15 v2 机器学习
摘要
手语是全球约 7200 万听力障碍人群的主要沟通方式， necessitating effective bidirectional Sign Language Production and Sign Language Translation systems. 然而，功能性的双向系统需要统一的语言环境，但缺乏适合的统一数据集，尤其是提供准确手语制作（Sign Language Production, SLP）评估所需姿态信息的数据集。此外，当前的 SLP 评估方法（如背译）忽视姿态精度，高质量的协调生成仍然具有挑战性。为创建此关键环境并克服这些挑战，我们引入了 CNText2Sign 和 CNSign 数据集，两者共同构成第一个旨在支持中文手语双向可及性系统的统一数据集；CNText2Sign 提供 15000 组自然语言到手语的映射，并为 8643 个词汇项提供标准化骨骼关键点，支持姿态评估。基于此基础，我们提出了 AuraLLM 模型，采用解耦架构，利用 CNText2Sign 的姿态数据进行新颖的直接手势精度评估。该模型采用检索增强和级联词汇解析（Cascading Vocabulary Resolution）处理语义映射和词汇外单词，实现可控的姿态与面部表情协调生成。同时，我们提出的手语翻译模型SignMST-C采用针对性的自监督预训练捕获动态特征，在 PHOENIX2014-T 上取得新的 SOTA 结果，BLEU-4 分数最高可达 32.08。AuraLLM 在 CNText2Sign 上以 BLEU-4 分数 50.41 建立了强大的性能基准。
引用
@article{arxiv.2501.00765,
title = {Beyond Words: AuralLLM and SignMST-C for Sign Language Production and Bidirectional Accessibility},
author = {Yulong Li and Yuxuan Zhang and Feilong Tang and Ming Hu and Zhixiang Lu and Haochen Xue and Jianghao Wu and Mian Zhou and Kang Dang and Chong Li and Yifang Wang and Imran Razzak and Jionglong Su},
journal= {arXiv preprint arXiv:2501.00765},
year = {2025}
}