大规模多语言机器翻译中的毒性问题
计算与语言
2023-04-07 v2
摘要
机器翻译系统可能产生不同类型的错误，其中一些因其对用户特定的负面影响而被归类为关键或灾难性错误。在本文中，我们关注一类关键错误：附加毒性。我们评估并分析了在将大型评估数据集（HOLISTICBIAS，超过 472k 个句子，涵盖 13 个人口统计维度）从英语翻译成 164 种语言时出现的附加毒性。自动毒性评估显示，各语言间的附加毒性比例从 0% 到 5% 不等。附加毒性最高的输出语言往往是低资源语言，而附加毒性最高的人口统计维度包括性取向、性别与生理性别以及能力。我们还在 8 个翻译方向的子集上进行了人工评估，证实了真实附加毒性的普遍存在。我们利用对翻译中源语言贡献量的度量（源贡献低意味着幻觉）来解释毒性的成因。利用输入归因使我们能够解释毒性，因为源贡献与所研究 84% 的语言的毒性显著相关。根据我们的发现，我们提出的降低附加毒性的建议是：整理训练数据以避免误译、缓解幻觉以及检查不稳定翻译。
引用
@article{arxiv.2210.03070,
title = {Toxicity in Multilingual Machine Translation at Scale},
author = {Marta R. Costa-jussà and Eric Smith and Christophe Ropers and Daniel Licht and Jean Maillard and Javier Ferrando and Carlos Escolano},
journal= {arXiv preprint arXiv:2210.03070},
year = {2023}
}