真相胜于捷径：虚假信息检测中捷径学习的测量与缓解
计算与语言
2025-06-04 v1
摘要
虚假信息检测模型通常依赖于表面线索（即“捷径”），这些线索在训练数据中与虚假信息相关，但无法泛化到真实世界虚假信息多样且不断演变的性质上。大型语言模型（LLM）加剧了这一问题，它们可以通过简单的提示轻松生成令人信服的虚假信息。我们引入了 TruthOverTricks，一种用于测量虚假信息检测中捷径学习的统一评估范式。TruthOverTricks 将捷径行为分为内在捷径诱导和外在捷径注入，并在 14 个流行基准测试以及两个新的事实性虚假信息数据集 NQ-Misinfo 和 Streaming-Misinfo 上评估了七个代表性检测器。实证结果表明，当暴露于自然发生和对抗性构造的捷径时，现有检测器性能严重下降。为了解决这个问题，我们提出了 SMF，一个 LLM 增强的数据增强框架，通过改写、事实摘要和情感归一化来缓解对捷径的依赖。SMF 在 16 个基准测试中持续增强了鲁棒性，鼓励模型依赖更深层的语义理解而非捷径线索。为了促进虚假信息检测器的发展，我们已在 https://github.com/whr000001/TruthOverTricks 公开发布了相关资源。
引用
@article{arxiv.2506.02350,
title = {Truth over Tricks: Measuring and Mitigating Shortcut Learning in Misinformation Detection},
author = {Herun Wan and Jiaying Wu and Minnan Luo and Zhi Zeng and Zhixiong Su},
journal= {arXiv preprint arXiv:2506.02350},
year = {2025}
}