VaxGuard：用于检测 LLM 生成疫苗错误信息的多生成器、多类型与多角色数据集
计算与语言
2025-03-13 v1
摘要
大型语言模型（LLM）的最新进展显著提升了文本生成能力。然而，它们也带来了挑战，特别是在生成疫苗相关错误信息方面，这给公共健康带来了风险。尽管已有关于人类撰写错误信息的研究，但在理解 LLM 如何促成疫苗错误信息以及如何最好地检测它方面仍存在显著空白。现有基准测试通常忽视特定于疫苗的错误信息以及错误信息传播者的不同角色。本文介绍了 VaxGuard，一个旨在应对这些挑战的新颖数据集。VaxGuard 包含由多个 LLM 生成的疫苗相关错误信息，并为检测跨各种角色的错误信息提供了综合框架。我们的研究结果表明，GPT-3.5 和 GPT-4o 在检测错误信息方面始终优于其他 LLM，特别是在处理微妙或带有情感色彩的叙事时。另一方面，PHI3 和 Mistral 表现较差，在恐惧驱动的情境下难以兼顾精确率和召回率。此外，随着输入文本长度的增加，检测性能往往下降，这表明需要改进方法以处理更长的内容。这些结果突出了特定角色检测策略的重要性，并表明 VaxGuard 可作为改进 LLM 生成疫苗错误信息检测的关键资源。
引用
@article{arxiv.2503.09103,
title = {VaxGuard: A Multi-Generator, Multi-Type, and Multi-Role Dataset for Detecting LLM-Generated Vaccine Misinformation},
author = {Syed Talal Ahmad and Haohui Lu and Sidong Liu and Annie Lau and Amin Beheshti and Mark Dras and Usman Naseem},
journal= {arXiv preprint arXiv:2503.09103},
year = {2025}
}
备注
Preprint