关于不确定性表达下的 LLM 对误导信息的回应
计算与语言
2025-03-07 v1 计算机与社会
摘要
我们研究 LLM 对以不确定性表达的误导信息的判断。我们的实验研究了三种广泛使用的 LLM（GPT-4o、LlaMA3、DeepSeek-v2）对经过不确定性类型化后变为不确定陈述的误导命题的响应。我们的结果表明，在变换之后，LLM 在 25% 的情况下将其事实核查分类从 false 变为 not-false。分析揭示，这一变化无法解释为人类预期敏感的预测因素，即情态、语言线索或论证策略。唯一的例外是 doxastic 转换，这些转换使用诸如“It is believed ...”之类的语言线索词组。为了进一步深入了解，我们要求 LLM 对变换后的误导信息陈述作出与事实价值无关的另一个判断。具体而言，我们研究 LLM 对人们提出这种不确定陈述频率的估计。我们发现，事实判断与频率估计之间存在微小但显著的相关性。
引用
@article{arxiv.2503.04271,
title = {On Fact and Frequency: LLM Responses to Misinformation Expressed with Uncertainty},
author = {Yana van de Sande and Gunes Açar and Thabo van Woudenberg and Martha Larson},
journal= {arXiv preprint arXiv:2503.04271},
year = {2025}
}
备注
4 pages, 1 figure, 3 tables, conference