用于支持评估GPT-4o输出中性别偏见的数据库
计算与语言
2025-03-03 v1
摘要
大型语言模型 (LLM) 的广泛应用给用户和社会带来了伦理风险。LLM 的一个突出伦理风险是生成不公平的语言输出，通过性别偏见对弱势社会群体的成员造成或加剧伤害 (Weidinger et al., 2022; Bender et al., 2021; Kotek et al., 2023)。因此，评估 LLM 输出在此类偏见方面的公平性成为日益受关注的课题。为了推进该领域的研究，促进关于适当规范基础和评估方法的讨论，并增强相关研究的可重复性，我们提出了一种新的数据库构建方法。该方法能够评估 LLM 生成的语言中与性别相关的偏见，而不仅仅是评估其中立化程度。
引用
@article{arxiv.2502.20898,
title = {A database to support the evaluation of gender biases in GPT-4o output},
author = {Luise Mehner and Lena Alicija Philine Fiedler and Sabine Ammon and Dorothea Kolossa},
journal= {arXiv preprint arXiv:2502.20898},
year = {2025}
}
备注
ISCA/ITG Workshop on Diversity in Large Speech and Language Models