CommunityFact：面向野外虚假信息检测的动态、多语言、多领域基准
计算与语言
2026-05-29 v1 计算机与社会
社会与信息网络
摘要
虚假信息验证日益发生在公开、快速变化且多语言的线上环境中，其中静态基准对模型可靠性提供的衡量不完整。我们引入 CommunityFact，一个面向野外虚假信息检测的可刷新型基准，旨在实现三大目标：覆盖性、细粒度与可再分配性。本次发布包含 15,992 条独立声明，覆盖五种语言和两个领域。我们评估了十个大语言模型在不同推理时能力下的表现，包括思考模式和网络搜索。结果显示，封闭式输入验证仍具挑战性，网络访问带来的提升最大；此外，网络启用型大语言模型的来源选择策略在系统性地与人类社区注释评审者收敛的来源之间存在偏差——通过检索扩张或修剪的模型特定机制可逐步缩小这一差距。我们进一步发现，语言-领域切片之间以及基于网络启用系统所使用的证据生态系统之间存在显著差异。除评估外，CommunityFact 将社区注释作为 claim 条件化来源建议器的训练信号，旨在提高对新声明的事实性验证能力。
引用
@article{arxiv.2605.30241,
title = {CommunityFact: A Dynamic, Multilingual, Multi-domain Benchmark for Misinformation Detection in the Wild},
author = {Sahajpreet Singh and Insyirah Mujtahid and Min-Yen Kan and Kokil Jaidka},
journal= {arXiv preprint arXiv:2605.30241},
year = {2026}
}