Claim-Dissector：一种具有联合重排序与真实性预测的可解释事实核查系统
计算与语言
2023-08-08 v4 人工智能
摘要
我们提出 Claim-Dissector：一种用于事实核查与分析的新型潜变量模型，该模型在给定一条声明与一组检索到的证据时，联合学习识别：(i) 与给定声明相关的证据，(ii) 声明的真实性。我们提出以可解释的方式解耦每条证据的相关性概率及其对最终真实性概率的贡献——最终真实性概率与每条证据相关性概率的线性集成成正比。以此方式，可识别证据对最终预测概率的个体贡献。在每条证据相关性概率中，我们的模型可进一步区分每条相关证据是支持（S）还是反驳（R）该声明。这允许量化 S/R 概率对最终判定的贡献，或检测不一致证据。尽管具有可解释性，我们的系统在 FEVER 数据集上取得了与最先进技术相竞争的结果，相较于典型的两阶段系统流水线，所用参数显著更少。它还在 FAVIQ 与 RealFC 数据集上确立了新的最先进水平。此外，我们的分析表明，我们的模型可在使用粗粒度监督的同时学习细粒度相关性线索，并以两种方式予以展示。(i) 我们表明，我们的模型仅使用段落级相关性监督即可取得有竞争力的句子召回率。(ii) 向最细粒度相关性推进，我们展示我们的模型能够在词元级别识别相关性。为此，我们提出一个新的基准 TLR-FEVER，聚焦于词元级可解释性——人工标注相关证据中其在做出判断时认为至关重要的词元。随后我们度量这些标注与我们的模型所关注的词元之间的相似度。
引用
@article{arxiv.2207.14116,
title = {Claim-Dissector: An Interpretable Fact-Checking System with Joint Re-ranking and Veracity Prediction},
author = {Martin Fajcik and Petr Motlicek and Pavel Smrz},
journal= {arXiv preprint arXiv:2207.14116},
year = {2023}
}
备注
updated acknowledgement