WISE：网络信息讽刺与虚假性评估
摘要
由于重叠的语言特征和不同的意图，将虚假或不实新闻与讽刺或幽默区分开来构成了独特的挑战。本研究开发了 WISE（网络信息讽刺与虚假性评估，Web Information Satire and Fakeness Evaluation）框架，在来自 Fakeddit 的 20,000 个样本的均衡数据集上，对八个轻量级 Transformer 模型与两个基线模型进行了基准测试，该数据集被标注为虚假新闻或讽刺。使用分层 5 折交叉验证，我们在包括准确率、精确率、召回率、F1分数、ROC-AUC、PR-AUC、MCC、Brier分数和期望校准误差在内的综合指标上评估了模型。我们的评估表明，轻量级模型 MiniLM 在所有模型中取得了最高准确率（87.58%），而 RoBERTa-base 取得了最高的 ROC-AUC（95.42%）和很高的准确率（87.36%）。DistilBERT 提供了极佳的效率-准确率权衡，准确率为 86.28\%，ROC-AUC 为 93.90\%。统计检验证实了模型之间存在显著的性能差异，配对 t 检验和 McNemar 检验提供了严格的比较。我们的发现强调，轻量级模型可以匹配或超越基线性能，为在现实世界、资源受限的环境中部署虚假信息检测系统提供了可操作的见解。
引用
@article{arxiv.2512.24000,
title = {WISE: Web Information Satire and Fakeness Evaluation},
author = {Gaurab Chhetri and Subasish Das and Tausif Islam Chowdhury},
journal= {arXiv preprint arXiv:2512.24000},
year = {2026}
}
备注
This is the author's preprint. Accepted to WEB&GRAPH 2026 (co-located with WSDM 2026), Boise, Idaho, USA, Feb 26, 2026. Final version will appear in WSDM 2026 Companion Proceedings. Conf: https://wsdm-conference.org/2026/ Workshop: https://aiimlab.org/events/WSDM_2026_WEB_and_GRAPH_2026_Workshop_on_Web_and_Graphs_Responsible_Intelligence_and_Social_Media.html