超越训练集的事实验证

评估日常声明的真实性非常耗时，且在某些情况下需要领域专业知识。我们通过实验证明，常用的事实验证流水线（即检索器-阅读器）在一个领域的标注数据上训练并应用于另一个领域时，其性能会下降。随后，我们深入探讨该流水线的各个组件，并提出解决此问题的新算法。我们提出一种对抗算法，使检索器组件对分布偏移具有鲁棒性。我们的核心思想是首先在带标签的源数据上训练一个双编码器，然后利用无标签的目标数据对抗训练两个独立的文档编码器和声明编码器。接着，我们关注阅读器组件，并提出对其进行训练以使其对声明和证据文档的顺序不敏感。我们的实验评估支持了如下假设：这样的阅读器对分布偏移表现出更高的鲁棒性。据我们所知，目前没有公开可用的多主题事实验证数据集。因此，我们提出一种简单的自动化方法来重新利用两个知名的事实验证数据集。然后，我们根据这些数据集构建了八个事实验证场景，并将我们的模型与一组强基线模型进行比较，其中包括近期使用 GPT4 生成合成数据的领域自适应模型。