WiCE：面向维基百科中声明的真实世界蕴含数据集
计算与语言
2023-10-24 v2
摘要
文本蕴含模型正越来越多地应用于事实核查、问答中的预设验证或摘要评估等场景。然而，这些场景与现有蕴含数据集存在显著的领域偏移，导致模型表现不佳。我们提出了 WiCE，一个基于从维基百科提取的自然声明—证据对构建的细粒度文本蕴含数据集。除标准的声明级蕴含外，WiCE 还提供对声明中子句单元的蕴含判断，以及支持每个子声明的最小证据句子集。为此，我们提出了一种使用 GPT-3.5 的自动声明分解策略，并表明该策略在测试时也能有效提升蕴含模型在多个数据集上的性能。最后，我们展示了数据集中真实声明涉及现有模型难以应对的具有挑战性的验证与检索问题。
引用
@article{arxiv.2303.01432,
title = {WiCE: Real-World Entailment for Claims in Wikipedia},
author = {Ryo Kamoi and Tanya Goyal and Juan Diego Rodriguez and Greg Durrett},
journal= {arXiv preprint arXiv:2303.01432},
year = {2023}
}
备注
EMNLP 2023