超越二元性别：基于模糊态度词评估包容性机器翻译
计算与语言
2024-07-24 v1
摘要
性别偏见是机器翻译和语言模型研究中的热点议题。现有机器翻译性别偏见评估主要聚焦于男性和女性性别，评估范围受限。为准确评估性别偏见，这些研究常依赖计算性别代词准确率或通过职业或情感词（即明确正面或负面态度）引发的刻板印象来衡量语法性别的阳性和阴性属性，无法拓展至非二元性别群体。本研究提出了包含模糊态度词的性别包容性机器翻译基准AmbGIMT（Gender-Inclusive Machine Translation with Ambiguous attitude words），用于超越二元性别评估性别偏见。同时，我们提出一种新颖的评估方法，基于情感态度分数（EAS）用于量化模糊态度词。在评估三种最新且有效的开源大语言模型和一款强大的多语言翻译特定模型时，我们的主要发现表明：（1）在非二元性别情境下的翻译表现在翻译质量和负面态度方面显著低于二元性别情境。（2）分析实验表明，在性别身份术语提示中加入约束上下文可显著降低翻译偏见，但偏见仍然明显。该代码已公开于\url{https://github.com/pppa2019/ambGIMT}。
引用
@article{arxiv.2407.16266,
title = {Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words},
author = {Yijie Chen and Yijin Liu and Fandong Meng and Jinan Xu and Yufeng Chen and Jie Zhou},
journal= {arXiv preprint arXiv:2407.16266},
year = {2024}
}
备注
The code is publicly available at \url{https://github.com/pppa2019/ambGIMT}