超越西方政治：评估大语言模型中党派关联的跨文化基准
计算机与社会
2025-09-30 v1 人机交互
摘要
大语言模型中的党派偏见已被评估以衡量其政治倾向，通常是通过宽泛的视角且主要是在西方语境下进行。我们超越了识别一般性倾向，转而审视围绕政治领导人和政党的有害的、对抗性的表征关联。为此，我们创建了数据集NeutQA-440（非对抗性提示）和AdverQA-440（对抗性提示），这些数据集探测模型在美国和印度之间进行比较合理性判断。结果显示，模型对偏见性党派关联具有高度敏感性，并存在显著的不对称性（例如，对美国民主党的关联显著优于共和党），同时对印度人民党（BJP）的关联呈现混合极性集中，这凸显了系统性风险，并推动了标准化、跨文化评估的必要性。
引用
@article{arxiv.2509.22711,
title = {Beyond Western Politics: Cross-Cultural Benchmarks for Evaluating Partisan Associations in LLMs},
author = {Divyanshu Kumar and Ishita Gupta and Nitin Aravind Birur and Tanay Baswa and Sahil Agarwal and Prashanth Harshangi},
journal= {arXiv preprint arXiv:2509.22711},
year = {2025}
}