衡量机器翻译中性别偏见的影响：基于人本研究的量化分析

机器翻译 (MT) 中的性别偏见被认识为一种可能对人们和社会造成伤害的问题。尽管如此，该领域的进步却很少涉及最终的 MT 用户，或说明他们可能受到偏见技术的影响。当前的评估常常局限于自动方法，这些方法提供了对性别差异潜在影响的不透明估计。我们进行了一项广泛的人本研究，以检验偏见在 MT 中造成的伤害及其实际成本，例如跨女性和男性的服务质量差距。为此，我们收集了来自 90 名参与者的行为数据，他们对 MT 输出进行后编辑以确保性别翻译的正确性。我们发现，无论是在多个数据集、语言或用户类型中，女性后编辑都显著需要更多的技术和时间投入，同时对应更高的财务成本。然而，现有的偏见测量方法未能反映所发现的差异。我们的发现主张采用人本方法，以了解偏见的社会影响。