TrendFact：面向可解释热点感知的事实核查基准
计算与语言
2025-10-28 v4
摘要
事实核查基准为自动化事实核查系统提供了标准化测试标准，推动了技术进步。随着社交媒体上错误信息的激增以及各种事实核查方法的出现，公众对自动化系统的透明度以及高影响力事件事实核查准确性的关注日益增加。然而，现有基准未能满足这些迫切需求，且主要以英语为中心，阻碍了全面事实核查的发展。为解决这些问题，我们引入了TrendFact，这是第一个能够评估热点感知能力（HPA）和所有事实核查任务的基准。TrendFact包含来自热门平台和专业事实核查数据集的7,643个精选样本，以及一个包含366,634条带发布日期条目的证据库。此外，为了补充现有基准在评估系统解释一致性和HPA方面的不足，我们提出了两个新指标：ECS和HCPI。实验结果表明，当前的事实核查系统在TrendFact上评估时面临显著局限，这有助于推动更稳健的事实核查方法的发展。此外，为了增强现有先进事实核查系统（即推理大语言模型，RLMs）的能力，我们提出了FactISR，一种将动态证据增强与迭代自我反思相结合的推理框架。FactISR有效提升了RLM的性能，为可解释和复杂的事实核查提供了新的见解。
引用
@article{arxiv.2410.15135,
title = {TrendFact: A Benchmark for Explainable Hotspot Perception in Fact-Checking with Natural Language Explanation},
author = {Xiaocheng Zhang and Xi Wang and Yifei Lu and Jianing Wang and Zhuangzhuang Ye and Mengjiao Bao and Peng Yan and Xiaohong Su},
journal= {arXiv preprint arXiv:2410.15135},
year = {2025}
}