自然文本上人类与 LLM 框架效应的比较
计算与语言
2026-01-21 v2 人工智能
摘要
人类会受到信息呈现方式的影响，这种现象被称为框架效应。先前的研究表明，LLM 可能也容易受到框架效应的影响，但这些研究依赖于合成数据，且未与人类行为进行比较。为了弥补这一差距，我们引入了 WildFrame——一个用于评估 LLM 对自然语句中积极和消极框架响应的数据集，并附带了相同数据上的人类响应。WildFrame 由 1,000 篇被选中以传达明确情感的真实文本组成；随后我们以积极或消极的视角对每篇文本进行重构，并收集人类情感标注。在 WildFrame 上对十一个 LLM 进行评估，我们发现所有模型都以类似人类的方式响应重构 ()，并且人类和模型都更多地受到积极重构而非消极重构的影响。值得注意的是，在所有测试模型中，GPT 模型与人类行为的相关性最低。这些发现引发了关于最先进 LLM 发展目标的讨论：模型应该与人类行为紧密对齐以保留诸如框架效应等认知现象，还是应该为了公平性和一致性而减轻此类偏见。
引用
@article{arxiv.2502.17091,
title = {Comparing the Framing Effect in Humans and LLMs on Naturally Occurring Texts},
author = {Gili Lior and Liron Nacchace and Gabriel Stanovsky},
journal= {arXiv preprint arXiv:2502.17091},
year = {2026}
}