假定身份：量化机器翻译中性别模糊职业术语的性别偏见
计算与语言
2025-09-23 v3
摘要
机器翻译 (MT) 系统经常遇到性别模糊的职业术语，在这些情况下它们必须在没有明确上下文线索的情况下分配性别。虽然此类情况下的单个翻译可能本身不具有偏见，但系统性模式——例如始终以特定性别翻译某些职业——可能会出现，反映并延续社会刻板印象。这种模糊性挑战了传统的实例级单答案评估方法，因为不存在单一的金标准翻译。为解决这一问题，我们引入了 GRAPE，这是一种基于概率的指标，旨在通过分析聚合模型响应来评估性别偏见。同时，我们提出了 GAMBIT，一个包含性别模糊职业术语的英语基准数据集。使用 GRAPE，我们评估了多个 MT 系统，并检查了它们在希腊语和法语中的性别化翻译是否与社会刻板印象、现实世界的职业性别分布和规范标准一致或偏离。
引用
@article{arxiv.2503.04372,
title = {Assumed Identities: Quantifying Gender Bias in Machine Translation of Gender-Ambiguous Occupational Terms},
author = {Orfeas Menis Mastromichalakis and Giorgos Filandrianos and Maria Symeonaki and Giorgos Stamou},
journal= {arXiv preprint arXiv:2503.04372},
year = {2025}
}
备注
Accepted for presentation at EMNLP 2025