手语翻译中的指拼
计算与语言
2024-08-14 v1 计算机视觉与模式识别
摘要
指拼因其高频运动和用于开放词汇术语的特点，给手语处理带来了挑战。虽然先前的工作已经研究了指拼识别，但很少有人关注评估手语翻译模型在整个句子上下文中理解指拼的能力——以及如何提升这种能力。我们手动标注了FLEURS-ASL中的指拼实例，并使用它们来评估两种简单措施对改善美国手语到英语翻译中指拼识别的效果：1）使用具有字符级而非子词级分词化的模型系列（ByT5），以及2）将指拼识别数据混合到翻译训练混合数据中。我们发现，1）显著提高了对指拼的理解（从而提高了整体翻译质量），但2）的效果好坏参半。
引用
@article{arxiv.2408.07065,
title = {Fingerspelling within Sign Language Translation},
author = {Garrett Tanzer},
journal= {arXiv preprint arXiv:2408.07065},
year = {2024}
}