手势语言的时空表示与翻译
计算与语言
2025-10-23 v1 计算机视觉与模式识别
摘要
本文描述了DFKI-MLT提交给WMT-SLT 2022手势语言翻译（SLT）任务的方案，该任务将瑞士德语手势语言（视频）翻译为德语（文本）。当前的SLT技术使用通用seq2seq架构，配合定制化的输入嵌入。与文本机器翻译不同，SLT系统使用从视频帧中提取的特征，而非词嵌入。标准方法往往未充分利用时序特征。在我们的参赛中，我们提出一种学习时空特征表示与翻译于单一模型的系统，形成一个真正的端到端架构，预期能更好地泛化到新数据集。我们的最佳系统在开发集上实现了 BLEU分数，但在测试集上的性能下降到 BLEU分数。
引用
@article{arxiv.2510.19413,
title = {Spatio-temporal Sign Language Representation and Translation},
author = {Yasser Hamidullah and Josef van Genabith and Cristina España-Bonet},
journal= {arXiv preprint arXiv:2510.19413},
year = {2025}
}