EuroGEST：多语言语言模型中的性别刻板印象研究
计算与语言
2026-02-24 v3
摘要
大型语言模型越来越多地支持多种语言，但大多数性别偏见基准仍以英语为中心。我们引入了EuroGEST，一个旨在衡量LLM在英语和29种欧洲语言中性别刻板印象推理的数据集。EuroGEST基于一个现有的专家指导基准，覆盖16种性别刻板印象，在本工作中通过翻译工具、质量评估指标和形态学启发式方法进行了扩展。人类评估确认，我们的数据生成方法在翻译和性别标签的准确性方面均达到较高水平。我们使用EuroGEST评估了来自六个模型家族的24个多语言语言模型，结果表明，所有模型在所有语言中最强烈的刻板印象是女性被描述为“美丽”、“有同理心”和“整洁”，男性被描述为“领导者”、“强壮、坚韧”和“专业”。我们还表明，更大的模型对性别刻板印象的编码更强，而指令微调并不能一致地减少性别刻板印象。我们的工作强调了LLM公平性需要更多多语言研究，并提供了可扩展的方法和资源来审计跨语言的性别偏见。
引用
@article{arxiv.2506.03867,
title = {EuroGEST: Investigating gender stereotypes in multilingual language models},
author = {Jacqueline Rowe and Mateusz Klimaszewski and Liane Guillou and Shannon Vallor and Alexandra Birch},
journal= {arXiv preprint arXiv:2506.03867},
year = {2026}
}
备注
In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 32074-32096, Suzhou, China. Association for Computational Linguistics. 9 pages, 5 figures, 1 table