语音翻译中的性别偏见评估
计算与语言
2022-05-17 v4
摘要
科学界日益意识到有必要接纳多元主义并持续代表主要和次要社会群体。目前，针对不同类型偏见尚无标准评估技术。因此，迫切需要提供评估集与协议以衡量我们自动系统中存在的偏见。评估偏见应是缓解系统中偏见的关键一步。本文引入 WinoST，一个用于评估语音翻译中性别偏见的新的自由可用挑战集。WinoST 是机器翻译挑战集 WinoMT 的语音版本，二者均遵循衡量性别准确性的评估协议。使用一个最先进的端到端语音翻译系统，我们报告了四个语言对的性别偏见评估，并表明语音翻译中的性别准确性比机器翻译低 23% 以上。
引用
@article{arxiv.2010.14465,
title = {Evaluating Gender Bias in Speech Translation},
author = {Marta R. Costa-jussà and Christine Basta and Gerard I. Gállego},
journal= {arXiv preprint arXiv:2010.14465},
year = {2022}
}
备注
Preprint