事实抽取与验证(FEVER)共享任务
计算与语言
2018-12-03 v2
摘要
我们给出首届事实抽取与验证(FEVER)共享任务的结果。该任务要求参赛者对人工撰写的事实性声明进行分类,判断其能否被维基百科检索出的证据所支持(Supported)或反驳(Refuted)。我们收到 23 支参赛队伍的结果,其中 19 支得分高于此前发表的基线。性能最优的系统取得了 64.21% 的 FEVER 分数。本文给出该共享任务的结果及系统概要,并重点介绍各参赛系统间的共性与创新。
引用
@article{arxiv.1811.10971,
title = {The Fact Extraction and VERification (FEVER) Shared Task},
author = {James Thorne and Andreas Vlachos and Oana Cocarascu and Christos Christodoulopoulos and Arpit Mittal},
journal= {arXiv preprint arXiv:1811.10971},
year = {2018}
}
备注
Revised from published version in the proceedings of the FEVER workshop at EMNLP 2018