衡量大型语言模型中的性别与政治偏见
计算与语言
2025-09-17 v2 人工智能
人机交互
机器学习
摘要
我们提出了 EuroParlVote，这是一个用于评估大型语言模型 (LLM) 在政治敏感情境下的基准测试工具。该基准将欧洲议会辩论演讲与表决结果关联，并为每位议员提供丰富的人口统计信息，包括性别、年龄、国籍和政治派系。通过 EuroParlVote，我们评估了当前最先进的 LLM 在两个任务上的表现——性别分类和投票预测，发现其存在系统性偏见。我们发现，LLM 常常将女性议员误分类为男性，并在模拟女性发言人投票时表现出降低的准确率。就政治倾向而言，LLM 倾向于偏好中产派系，而在极左和极右派系的表现则较差。专有模型如 GPT-4o 在鲁棒性和公平性方面优于开源权重模型。我们发布了 EuroParlVote 数据集、代码及演示，以支持未来在政治语境下的人工智能公平性与可解释性研究。
引用
@article{arxiv.2509.06164,
title = {Benchmarking Gender and Political Bias in Large Language Models},
author = {Jinrui Yang and Xudong Han and Timothy Baldwin},
journal= {arXiv preprint arXiv:2509.06164},
year = {2025}
}