检验大语言模型在立场分类任务中的政治偏见影响
计算与语言
2024-07-29 v2 人工智能
摘要
大语言模型（LLMs）在基于自然语言查询的任务中展现出惊人的能力。然而，这些模型在经过筛选数据集训练后本质上包含着从种族到民族、性别等方面的偏见。目前尚不清楚这些偏见是否影响 LLMs 在特定任务上的性能。在本研究中，我们围绕立场分类任务探讨 LLMs 的政治偏见，具体检验这些模型是否存在更准确地对政治敏感立场进行分类的倾向。我们利用三个数据集、七个 LLMs 和四种不同的提示方案，对 LLMs 在政治导向语句和目标上的表现进行分析。我们的发现表明，LLMs 在各种政治导向立场分类任务中的性能存在统计显著差异。此外，我们观察到这种差异主要体现在数据集层面，模型和提示方案在不同的立场分类数据集之间表现统计上相似。最后，我们观察到，当目标对语句所针对的对象的模糊性更大时，LLMs 的立场分类准确率较差。代码与数据集: http://doi.org/10.5281/zenodo.12938478
引用
@article{arxiv.2407.17688,
title = {Examining the Influence of Political Bias on Large Language Model Performance in Stance Classification},
author = {Lynnette Hui Xian Ng and Iain Cruickshank and Roy Ka-Wei Lee},
journal= {arXiv preprint arXiv:2407.17688},
year = {2024}
}
备注
Accepted at ICWSM 2025