Twists、Humps 和 Pebbles：多语言语音识别模型 exhibits 性别性能差距
计算与语言
2024-10-04 v3
摘要
当前的自动语音识别（ASR）模型被设计为可跨越多种语言和任务使用，而无需进行大量更改。然而，这种广泛的语言覆盖掩盖了语言内部的性能差距，例如在性别之间。我们的研究系统性地评估了两款广泛使用的多语言 ASR 模型在三个数据集上的性能，这些数据集涵盖 19 种语言，来自八大语言家族，以及两种说话条件。我们的发现揭示了明显的性别差异，其中优势群体因语言和模型而异。令人惊讶的是，这些差距并不由声学或词汇属性解释。然而，探测内部模型状态发现了与性别性能差距相关的关联。也就是说，使用探针区分说话人性别更容易的语言，性别差距更小，偏向女性说话人。我们的结果显示，即使在最先进的模型中，性别差异仍然存在。我们的发现对改进多语言 ASR 系统具有意义，强调了获取训练数据可及性和细致评估的重要性，以预测和缓解性别差距。我们在 https://github.com/g8a9/multilingual-asr-gender-gap 上发布了所有代码和程序集。
引用
@article{arxiv.2402.17954,
title = {Twists, Humps, and Pebbles: Multilingual Speech Recognition Models Exhibit Gender Performance Gaps},
author = {Giuseppe Attanasio and Beatrice Savoldi and Dennis Fucci and Dirk Hovy},
journal= {arXiv preprint arXiv:2402.17954},
year = {2024}
}
备注
Accepted at EMNLP 2024. Code and artifacts at https://github.com/g8a9/multilingual-asr-gender-gap