面向低资源与多语言机器翻译的 FLORES-101 评测基准
计算与语言
2021-06-08 v1 人工智能
摘要
阻碍低资源与多语言机器翻译进展的最大挑战之一是缺乏良好的评测基准。当前的评测基准要么对低资源语言的覆盖不足，要么仅考虑受限领域，要么因采用半自动流程构建而质量较低。在本工作中，我们引入了 FLORES-101 评测基准，其包含从英文维基百科中提取的 3001 个句子，涵盖多种不同主题与领域。这些句子由专业译员通过严格控制的流程翻译成 101 种语言。所得数据集能够更好评估模型在长尾低资源语言上的质量，包括评估多对多多语言翻译系统，因为所有翻译都是多语言对齐的。通过公开发布这一高质量、高覆盖的数据集，我们希望促进机器翻译界及更广泛领域的进展。
引用
@article{arxiv.2106.03193,
title = {The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation},
author = {Naman Goyal and Cynthia Gao and Vishrav Chaudhary and Peng-Jen Chen and Guillaume Wenzek and Da Ju and Sanjana Krishnan and Marc'Aurelio Ranzato and Francisco Guzman and Angela Fan},
journal= {arXiv preprint arXiv:2106.03193},
year = {2021}
}