MiTTenS: 一个用于评估性别误译的数据集
计算与语言
2024-10-07 v3 计算机与社会
摘要
翻译系统，包括具备翻译能力的基础模型，可能会产生导致性别误译的错误，而此类错误可能尤其有害。为了衡量在译入和译出英语时此类潜在危害的程度，我们引入了一个名为 MiTTenS 的数据集，涵盖来自多种语系和文字系统的 26 种语言，其中包括几种在数字资源中传统上代表性不足的语言。该数据集由针对已知失败模式的手工编写段落、较长的合成生成段落以及源自多个领域的自然段落构成。我们通过评估神经机器翻译系统和基础模型来展示该数据集的实用性，并表明所有系统都存在性别误译和潜在危害，即使是在高资源语言中也是如此。
引用
@article{arxiv.2401.06935,
title = {MiTTenS: A Dataset for Evaluating Gender Mistranslation},
author = {Kevin Robinson and Sneha Kudugunta and Romina Stella and Sunipa Dev and Jasmijn Bastings},
journal= {arXiv preprint arXiv:2401.06935},
year = {2024}
}
备注
GitHub repository https://github.com/google-research-datasets/mittens