一种用于口语到手语翻译的基于词义标注的开源基线
计算与语言
2023-05-30 v1 计算机视觉与模式识别
摘要
手语翻译系统复杂且需要许多组件。因此，很难跨出版物比较方法。我们提出了一种文本到词义标注到姿态到视频流水线方法的开源实现，展示了从德语到瑞士德语手语、法语到瑞士法语手语，以及意大利语到瑞士意大利语手语的转换。我们提出了三种不同的文本到词义标注翻译组件：一个词形还原器、一个基于规则的词重排与删词组件，以及一个神经机器翻译系统。词义标注到姿态的转换使用来自三种不同手语词典的数据进行，并从视频中提取骨骼姿态。为生成句子，首先运行文本到词义标注系统，然后将所得手势的姿态表示拼接在一起。
引用
@article{arxiv.2305.17714,
title = {An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation},
author = {Amit Moryossef and Mathias Müller and Anne Göhring and Zifan Jiang and Yoav Goldberg and Sarah Ebling},
journal= {arXiv preprint arXiv:2305.17714},
year = {2023}
}