利用情境学习进行大语言模型政治偏见测试
计算与语言
2025-06-30 v1
摘要
越来越多的研究通过对大语言模型提出政治问题来评估其潜在偏见。然而，这种探测方法的稳定性有限，使得模型之间的比较不可靠。本文认为，大语言模型需要更多的情境信息。我们提出了一种新的探测任务——问卷建模（Questionnaire Modeling, QM），其使用人类调查数据作为情境示例。我们展示了QM可以提高基于问题的偏差评估稳定性，并演示了其用于比较指令调优模型与其基础版本。多种规模的大语言模型实验表明，指令调优确实会改变偏见的方向。此外，我们观察到更大的模型能够更有效地利用情境示例，通常在QM中表现出更小的偏见得分。数据和代码均已公开可用。
引用
@article{arxiv.2506.22232,
title = {Leveraging In-Context Learning for Political Bias Testing of LLMs},
author = {Patrick Haller and Jannis Vamvas and Rico Sennrich and Lena A. Jäger},
journal= {arXiv preprint arXiv:2506.22232},
year = {2025}
}
备注
ACL 2025