昨日新闻：虚假信息检测模型的多维分布外泛化基准测试
信息检索
2025-11-27 v4 计算与语言
摘要
本文介绍了misinfo-general，一个用于评估虚假信息模型进行分布外泛化能力的基准数据集。虚假信息变化迅速，远快于审核员进行大规模标注的速度，导致训练数据和推理数据分布之间出现偏移。因此，虚假信息检测器需要具备分布外泛化能力，而这是它们目前所缺乏的属性。我们的基准测试使用远距离标注来模拟虚假信息内容中的协变量偏移。我们确定时间、事件、主题、发布者、政治偏见、虚假信息类型为泛化的重要维度，并在每个维度上评估了一类常见的基线模型。利用文章元数据，我们展示了该模型如何未能满足期望条件，而这在分类指标中并不一定显而易见。最后，我们分析了数据属性，以确保建模捷径的有限存在。我们公开了数据集和配套代码：https://github.com/ioverho/misinfo-general。
引用
@article{arxiv.2410.18122,
title = {Yesterday's News: Benchmarking Multi-Dimensional Out-of-Distribution Generalization of Misinformation Detection Models},
author = {Ivo Verhoeven and Pushkar Mishra and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2410.18122},
year = {2025}
}
备注
Accepted for publication in Computational Linguistics on November 23, 2025. This is the pre-MIT Press publication version