左、右还是中间?评估新闻分类与生成中的 LLM 框架效应
计算与语言
2026-01-12 v1
摘要
基于大语言模型 (LLM) 的摘要和文本生成正越来越多地用于生产和改写文本,这引发了人们对新闻业中政治框架效应的担忧,因为细微的措辞选择可以塑造解读。我们在九个最先进的 LLM 中研究政治框架效应,测试 LLM 基于分类的偏见信号是否与其生成摘要中的框架行为一致。我们首先将少样本意识形态预测与 LEFT/CENTER/RIGHT 标签进行比较。然后,我们在 FAITHFUL、CENTRIST、LEFT 和 RIGHT 提示下生成“受引导的”摘要,并使用一个固定的意识形态评估器对所有输出进行评分。我们发现,在文章级别评分和生成文本中普遍存在意识形态中心塌缩现象,表明存在一种系统性地倾向于中间派框架的趋势。在评估的模型中,Grok 4 是迄今为止最具意识形态表达能力的生成器,而 Claude Sonnet 4.5 和 Llama 3.1 分别在商业模型和开放权重模型中实现了最强的偏见评分性能。
引用
@article{arxiv.2601.05835,
title = {Left, Right, or Center? Evaluating LLM Framing in News Classification and Generation},
author = {Molly Kennedy and Ali Parker and Yihong Liu and Hinrich Schütze},
journal= {arXiv preprint arXiv:2601.05835},
year = {2026}
}