HintsOfTruth：带有真实与合成主张的多模态可查证性检测数据集
人工智能
2025-06-05 v2
摘要
通过事实核查可以抵消错误信息，但此过程成本高昂且速度慢。识别可查证主张是第一步，自动化方法可以帮助扩大事实核查员的工作规模。然而，检测方法在处理（1）多模态内容、（2）来自不同领域的内容、（3）合成内容时仍感到困难。我们介绍HintsOfTruth，这是一个用于多模态可查证性检测的公共数据集，包含 2.7 万个真实世界和合成的图像/主张对。这种数据集的独特之处在于其混合了真实与合成数据，使其成为评估检测方法的理想基准。我们比较了微调和提示的大语言模型（LLM）。我们发现，配置良好的轻量级基于文本的编码器在准确度上可与多模态模型相当，但前者仅关注识别非主张类内容。多模态大语言模型在准确度上可能更高，但计算成本显著增加，难以用于大规模应用。面对合成数据时，多模态模型表现更为稳健。
引用
@article{arxiv.2502.11753,
title = {HintsOfTruth: A Multimodal Checkworthiness Detection Dataset with Real and Synthetic Claims},
author = {Michiel van der Meer and Pavel Korshunov and Sébastien Marcel and Lonneke van der Plas},
journal= {arXiv preprint arXiv:2502.11753},
year = {2025}
}
备注
Accepted at ACL2025 (main track)