政治光盘测试的详细因子分析：导航大语言模型的意识形态
计算机与社会
2025-11-13 v4 计算与语言
机器学习
摘要
政治光盘测试（PCT）及类似调查是常用于评估自回归大语言模型（LLM）政治偏见的工具。我们的严谨统计实验表明，虽然更改标准生成参数对 PCT 分数影响甚微，但提示词措辞和微调分别以及综合来看均可显著影响结果。有趣的是，针对政治丰富数据集与中性数据集进行的微调并未导致分数不同的偏移。我们还将这些发现推广到另一个流行测试，即 8 Values。人类在不同提示措辞下（如“回答此问题”与“陈述您的观点”）或暴露于政治中性文本（如数学公式）后，不会改变对问题的作答。然而，模型确实会产生这种变化，这引发了对这些测试是否适用于衡量模型偏见的有效性的担忧，并为深入探索政治与社会观念如何在大语言模型中编码奠定了研究路径。
引用
@article{arxiv.2506.22493,
title = {A Detailed Factor Analysis for the Political Compass Test: Navigating Ideologies of Large Language Models},
author = {Sadia Kamal and Lalu Prasad Yadav Prakash and S M Rafiuddin and Mohammed Rakib and Atriya Sen and Sagnik Ray Choudhury},
journal= {arXiv preprint arXiv:2506.22493},
year = {2025}
}