FLEURS-ASL：将美国手语纳入大规模多语言多任务评估
计算与语言
2024-08-27 v1 计算机视觉与模式识别
摘要
手语翻译历史上长期处于主流机器翻译研究的边缘。为促进领域 convergence，我们引入 FLEURS-ASL，将多向平行基准 FLORES（用于文本）和 FLEURS（用于语音）扩展到首个支持手语（以视频形式）的评估基准——美国手语（ASL），由 5 名认证盲人解释员翻译。FLEURS-ASL 可用于评估 various 任务——主要是 ASL 与 200 种其他语言（文本）或 102 种语言（语音）之间的句子级和篇章级翻译。我们提供了基于统一建模方法的基线，使用该方法将时间戳 token 和前文 token 纳入 34 秒上下文窗口，训练于 YouTube-ASL 随机视频片段。该模型在性能上达到或超过了短语级基线，同时支持大量新任务。我们还利用 FLEURS-ASL 显示，多模态前沿模型对 ASL 几乎没有理解能力，凸显了将手语纳入标准评估套件的重要性。
引用
@article{arxiv.2408.13585,
title = {FLEURS-ASL: Including American Sign Language in Massively Multilingual Multitask Evaluation},
author = {Garrett Tanzer},
journal= {arXiv preprint arXiv:2408.13585},
year = {2024}
}
备注
Access FLEURS-ASL at https://www.kaggle.com/datasets/googleai/fleurs-asl