DialFact：面向对话的事实核查基准
计算与语言
2022-03-25 v2
摘要
事实核查是减缓错误信息与虚假信息传播的 essential 工具。我们提出了对话中的事实核查任务，这是一个相对未被充分探索的领域。我们构建了 DialFact，一个包含 22,245 条带标注对话声明、并配对来自 Wikipedia 证据片段的测试基准数据集。DialFact 包含三个子任务：1) 可验证声明检测任务，用于区分一条回复是否携带可验证的事实信息；2) 证据检索任务，检索最相关的 Wikipedia 片段作为证据；3) 声明验证任务，预测对话回复为被支持、被反驳或信息不足。我们发现，在 FEVER 等非对话数据上训练的现有事实核查模型在我们的任务上表现不佳，因此，我们提出了一种简单但数据高效的方案，有效提升对话中的事实核查性能。我们在错误分析中指出了 DialFact 中的独特挑战，如处理口语表达、共指指代和检索歧义，以启发该方向的未来研究。
引用
@article{arxiv.2110.08222,
title = {DialFact: A Benchmark for Fact-Checking in Dialogue},
author = {Prakhar Gupta and Chien-Sheng Wu and Wenhao Liu and Caiming Xiong},
journal= {arXiv preprint arXiv:2110.08222},
year = {2022}
}
备注
ACL 2022