大型语言模型能否检测科学新闻报道中的虚假信息？
计算与语言
2025-11-25 v2 人工智能
社会与信息网络
摘要
科学事实在大众媒体中常被歪曲以影响公众舆论和行动，新冠疫情期间的情况便证明了这一点。由于这两种媒体类型的写作风格截然不同，科学领域虚假信息的自动检测极具挑战性，且目前仍处于起步阶段。大多数关于科学报道有效性的研究将此问题视为主张验证挑战，而这需要大量专家人力来生成适当的主张。我们的解决方案绕过了这一步骤，针对的是此类明确标记的主张可能不可用的更现实场景。本文的核心研究问题是：是否可以利用大型语言模型（LLMs）检测科学报道中的虚假信息。为此，我们首先提出了一个新的标注数据集 SciNews，包含 2400 篇来自可信和不可信来源的科学新闻故事，并与 CORD-19 数据库中的相关摘要配对。我们的数据集既包含人工撰写的新闻文章，也包含由 LLM 生成的新闻文章，从而在捕捉利用 LLM 生成大众媒体文章这一日益增长的趋势方面更为全面。随后，我们确定了科学新闻文章中科学有效性的维度，并探讨了如何将其整合到科学虚假信息的自动检测中。我们提出了几种基于 LLM 的基线架构，用于自动检测大众媒体中对科学发现的错误表述。对于每种架构，我们使用了多种提示工程策略，包括零样本（zero-shot）、少样本（few-shot）和思维链（chain-of-thought）提示。我们还在 GPT-3.5、GPT-4、Llama2-7B 和 Llama2-13B 上测试了这些架构和提示策略。
引用
@article{arxiv.2402.14268,
title = {Can Large Language Models Detect Misinformation in Scientific News Reporting?},
author = {Yupeng Cao and Aishwarya Muralidharan Nair and Nastaran Jamalipour Soofi and Elyon Eyimife and K. P. Subbalakshmi},
journal= {arXiv preprint arXiv:2402.14268},
year = {2025}
}