LLM 作为标注员的偏见：政党线索对大语言模型标注决策的影响
计算与语言
2024-08-29 v1 机器学习
摘要
人类编码者存在偏见。我们测试了大语言模型 (LLM) 作为标注员的类似偏见。通过复制 Ennser-Jedenastik 和 Meyer (2018) 的实验，我们发现 LLM 使用政治信息， Specifically 政党线索来判断政治陈述。不仅 LLM 使用相关信息来 contextualize 政治陈述是 positive、negative 还是 neutral 基于政党线索，他们还反映了人类生成数据上所反映的偏见。我们也发现与人类不同，后者仅在面对极端政党的陈述时才存在偏见，而 LLM 即使在提示来自中间左翼和中间右翼政党的陈述时也表现出显著偏见。讨论了我们的发现的影响。
引用
@article{arxiv.2408.15895,
title = {Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models},
author = {Sebastian Vallejo Vera and Hunter Driggers},
journal= {arXiv preprint arXiv:2408.15895},
year = {2024}
}