基于稠密标注平行语料的以语篇为中心的机器翻译评测
计算与语言
2023-05-19 v1
摘要
最近的几篇论文声称在句子级机器翻译（MT）上达到人类水平，尤其是在高资源语言中。因此，作为回应，MT 社区部分地将焦点转向了文档级翻译。翻译文档需要对文本的结构和含义有更深的理解，这通常由各种语篇现象捕获，如一致性、连贯性和衔接性。然而，这使得传统的句子级 MT 评测基准不足以评估上下文感知 MT 系统的性能。本文提出了一个具有丰富语篇标注的新数据集，构建于 Jiang 等人（2022）引入的大规模平行语料库 BWB 之上。新的 BWB 标注引入了四个额外的评测方面，即实体、术语、共指和引语，覆盖了两种语言中 15,095 个实体提及。利用这些标注，我们系统地调查了源语言和目标语言的语篇结构的异同，以及它们对 MT 提出的挑战。我们发现 MT 输出在其潜在语篇结构方面与人类翻译有根本不同。这为我们提供了文档级 MT 中挑战与机遇的新视角。我们公开我们的资源以激发未来在文档级 MT 及泛化到其他语言翻译任务的研究。
引用
@article{arxiv.2305.11142,
title = {Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus},
author = {Yuchen Eleanor Jiang and Tianyu Liu and Shuming Ma and Dongdong Zhang and Mrinmaya Sachan and Ryan Cotterell},
journal= {arXiv preprint arXiv:2305.11142},
year = {2023}
}
备注
9 pages. arXiv admin note: substantial text overlap with arXiv:2210.14667