源框架触发大语言模型中的系统性评估偏差
计算与语言
2025-05-21 v1 计算机与社会
摘要
大语言模型（LLM）不仅越来越多地用于生成文本，还用于评估文本，这引发了关于其判断是否一致、无偏且对框架效应具有鲁棒性的紧迫问题。在本研究中，我们系统性地考察了四篇最先进的 LLM（OpenAI o3-mini、Deepseek Reasoner、xAI Grok 2 和 Mistral）在评估 4,800 条叙事陈述时的模型间和模型内一致性，这些陈述涉及 24 个不同的社会、政治和公共卫生相关主题，共计 192,000 次评估。我们操控每条陈述的披露来源，以评估将其归因于另一个 LLM 或指定国籍的人类作者如何影响评估结果。我们发现，在盲态条件下，不同 LLM 在各主题上表现出显著高的模型间和模型内一致性。然而，当引入来源框架后，这种一致性被打破。在此，我们表明将陈述归因于中国个体系统性地降低了所有模型的评分一致性，尤其是 Deepseek Reasoner。我们的发现揭示框架效应会深刻影响文本评估，对 LLM 介导的信息系统的完整性、中立性和公平性具有重大影响。
引用
@article{arxiv.2505.13488,
title = {Source framing triggers systematic evaluation bias in Large Language Models},
author = {Federico Germani and Giovanni Spitale},
journal= {arXiv preprint arXiv:2505.13488},
year = {2025}
}