多语言已核查声明检索

事实核查人员常受限于需核查的在线内容数量之巨。NLP 可通过检索与所调查内容相关的既有事实核查结果来协助他们。本文引入一个新的多语言数据集——MultiClaim——用于已核查声明检索。我们收集了来自社交媒体的 27 种语言 28k 条帖子、由专业事实核查人员撰写的 39 种语言 206k 条事实核查，以及这两组间的 31k 条关联。这是迄今规模最大、语言多样性最高的同类数据集。我们评估了不同无监督方法在该数据集及其各维度上的表现。我们表明，评估如此多样化的数据集具有其复杂性，在解读结果前需妥善审慎。我们还评估了一种有监督微调方法，较无监督方法取得显著提升。