WhatsApp 疫苗话语数据集 (WhaVax)：用于健康误information检测的专家标注数据集与基准
社会与信息网络
2026-05-14 v1 计算与语言
计算机与社会
摘要
我们介绍 WhaVax，这是一个来自巴西大型公共群组（跨越多个疫情年份）中收集的疫苗相关 WhatsApp 消息的专家标注数据集。该数据集通过严谨、精心设计的管道构建，集成关键词式数据收集、语义去重以消除近似重复内容，并由医学专家执行多阶段标注协议。这一过程产生了高质量的金标准语料库，具有显著的标注者间一致性和强大的下游分析可靠性。此外，我们对 WhatsApp 误information 的详细特征分析，揭示了其在语言、结构、词汇、时间和群组层面的独特模式，以及反映私有沟通中健康话语复杂性的显著模糊案例层次。我们还在现实数据稀缺约束下，对经典模型、微调的小型语言模型和零/少量-shot 大语言模型进行基准测试，表明强大的嵌入和 LLM 方法在竞争性表现上与人类相当，而领域对齐和数据可得性仍是关键因素。该研究提供了稀有的、高质量资源，以支持加密通信环境中的误information 研究和计算建模。
引用
@article{arxiv.2605.12510,
title = {WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection},
author = {Jônatas H. dos Santos and Julio C. S. Reis and Philipe Melo and João F. H. Olivetti and Thales H. Silva and Matheus Gontijo Guimaraes and Glaucio de Souza and Marcos A. Gonçalves and Fabricio Benevenuto and Filipe B. B. Zanovello and Marco A. G. Rodrigues and Cristiano X. Lima},
journal= {arXiv preprint arXiv:2605.12510},
year = {2026}
}
备注
10 pages. This is a preprint version of a paper accepted for the International AAAI Conference on Web and Social Media (ICWSM'26). Please cite the conference version rather than this preprint