评估机器翻译中的性别偏见——以 Google 翻译为例
计算机与社会
2019-03-12 v4 计算与语言
摘要
近来人们对机器偏见的担忧日益增长，即训练得到的统计模型逐渐反映出有争议的社会不对称，如性别或种族偏见。近期大量 AI 工具被指对某些少数群体存在有害偏见，包括种族主义犯罪预测器、iPhone X 无法区分两位亚洲人、以及 Google 照片将黑人误分类为大猩猩等报告。尽管对此类偏见的系统研究可能困难，我们认为可借助性别中立语言利用自动化翻译工具，从而一窥 AI 中性别偏见现象。本文从美国劳工统计局（BLS）的综合职位列表出发，在 12 种不同性别中立语言（如匈牙利语、中文、约鲁巴语等）中构建如“他/她是一名工程师”的句式。我们使用 Google 翻译 API 将这些句子译为英语，并收集译文中女性、男性和性别中立代词出现频率的统计数据。我们显示 GT 表现出强烈的男性默认倾向，尤其在与不平衡性别分布相关的领域如 STEM 职位。我们将这些统计与 BLS 各职位女性参与频率数据对照，表明 GT 未能再现真实世界的女性工作者分布。我们提供实验证据：即便原则上不期望 50:50 的代词性别分布，GT 给出男性默认的频率也远高于仅由人口统计数据所预期。我们希望本工作能引发关于需用科学文献中已有的去偏技术来增强当前统计翻译工具的讨论。
引用
@article{arxiv.1809.02208,
title = {Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate},
author = {Marcelo O. R. Prates and Pedro H. C. Avelar and Luis Lamb},
journal= {arXiv preprint arXiv:1809.02208},
year = {2019}
}
备注
Accepted for publication on Neural Computing and Applications; 33 pages, 14 figures, 12 tables