MT-GenEval：用于评估机器翻译中性别准确性的反事实与上下文数据集
计算与语言
2022-11-03 v1
摘要
随着通用机器翻译（MT）质量的提升，对探索细粒度质量方面的针对性基准的需求也随之增加。特别是，翻译中的性别准确性在输出流畅度、翻译准确性和伦理方面均可能产生重要影响。在本文中，我们介绍了MT-GenEval，一个用于评估从英语到八种广泛使用语言的翻译中性别准确性的基准。MT-GenEval通过提供真实的、性别平衡的、反事实的数据来补充现有基准，这些数据涵盖八组语言对，其中个体的性别在输入片段中无歧义，包括需要句间性别一致的多句片段。我们的数据和代码在CC BY SA 3.0许可下公开可用。
引用
@article{arxiv.2211.01355,
title = {MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation},
author = {Anna Currey and Maria Nădejde and Raghavendra Pappagari and Mia Mayer and Stanislas Lauly and Xing Niu and Benjamin Hsu and Georgiana Dinu},
journal= {arXiv preprint arXiv:2211.01355},
year = {2022}
}
备注
Accepted at EMNLP 2022. Data and code: https://github.com/amazon-research/machine-translation-gender-eval