PolBiX：通过 X-仿象词检测 LLM 的政治偏见
计算与语言
2025-09-24 v2
摘要
大型语言模型越来越多地用于需要客观评估的应用，这可能受到政治偏见的妨碍。许多研究发现 LLM 在左倾位置上存在偏好，但关于这种偏见对任务如事实核查的影响仍在不充分探索之中。本研究通过在德国主张中交换带有仿象词或反仿象词的词语来系统性地调查政治偏见。我们构建了事实等效的最小配对主张，这些主张在政治内涵上有所不同，以评估 LLM 在将其分类为真或假方面的一致性。我们评估了六个 LLM，发现比起政治倾向，判性词语的存在对真实性评估具有更大影响。虽然少数模型显示出政治偏见倾向，但这并未通过明确要求客观性来缓解。本文包含可能令人 offense 或令人沮丧的内容。
引用
@article{arxiv.2509.15335,
title = {PolBiX: Detecting LLMs' Political Bias in Fact-Checking through X-phemisms},
author = {Charlott Jakob and David Harbecke and Patrick Parschan and Pia Wenzel Neves and Vera Schmitt},
journal= {arXiv preprint arXiv:2509.15335},
year = {2025}
}
备注
Accepted at Findings of EMNLP 2025, camera-ready version