自动假新闻检测：模型是在学习推理吗？

大多数用于自动假新闻检测的事实核查模型都基于推理：给定一个声明及其相关证据，模型旨在基于证据中支持或反驳的内容来估计声明的真实性。当这些模型表现良好时，通常假定这是因为模型已学会针对该声明对证据进行推理。在本文中，我们通过探究声明与证据的关系及各自的重要性，来考察这一推理假设。令人惊讶的是，我们发现，在政治事实核查数据集上，大多数情况下仅利用证据即可获得最高效果，因为加入声明要么影响甚微，要么对效果有害。这突显了现有自动假新闻检测方法中关于何为证据的一个重要问题。