当虚假信息风险较高时 LLM 难以拒绝虚假预设
计算与语言
2025-11-13 v2
摘要
本文研究了 LLM 如何处理虚假预设，以及某些语言因素是否会影响它们对虚假预设内容的响应。预设会巧妙地将信息作为已知内容引入，使其在嵌入有争议或虚假信息时极为有效。这引发了人们的担忧：即使虚假信息的风险很高，LLM 是否也会像人类一样，无法检测并纠正作为虚假预设引入的误导性假设。基于语言学预设分析的系统方法，我们研究了 LLM 在何种条件下更容易或更难接受或拒绝虚假预设。以政治语境为重点，我们考察了语言结构、政党以及场景概率等因素对识别虚假预设的影响。我们使用一个新创建的数据集进行实验，并考察了三个 LLM：OpenAI 的 GPT-4-o、Meta 的 LLama-3-8B 和 MistralAI 的 Mistral-7B-v03。结果表明，这些模型难以识别虚假预设，且性能因条件而异。本研究强调，语言学预设分析是揭示 LLM 响应中政治虚假信息强化的宝贵工具。
引用
@article{arxiv.2505.22354,
title = {LLMs Struggle to Reject False Presuppositions when Misinformation Stakes are High},
author = {Judith Sieker and Clara Lachenmaier and Sina Zarrieß},
journal= {arXiv preprint arXiv:2505.22354},
year = {2025}
}
备注
8 pages (including References). Published at CogSci 2025: https://escholarship.org/uc/item/4932r1hx