FaVIQ：基于信息检索式问题的真相核查
计算与语言
2022-03-16 v2 人工智能
摘要
尽管在开发通用事实核查模型方面兴趣浓厚，但构建带有真实世界声明的大规模事实核查数据集仍具挑战。现有声明或由众包工作者撰写，从而引入难以控制的微妙偏差，或由专业事实核查员人工验证，导致其昂贵且规模有限。本文构建了一个名为 FAVIQ 的大规模挑战性事实核查数据集，包含源自现有歧义信息检索式问题语料的 18.8 万条声明。问题中的歧义使得可自动构造反映用户困惑的真伪声明（例如电影拍摄年份与上映年份）。FAVIQ 中的声明经核验自然、含极少词汇偏差，且核查需对证据有完整理解。我们的实验表明，最先进模型远未解决我们的新任务。此外，在我们的数据上训练有助于专业事实核查，较在广泛使用的数据集 FEVER 或域内数据上训练的模型绝对提升达 17%。总之，我们的数据将作为自然语言理解的挑战性基准，并支持专业事实核查的未来进展。
引用
@article{arxiv.2107.02153,
title = {FaVIQ: FAct Verification from Information-seeking Questions},
author = {Jungsoo Park and Sewon Min and Jaewoo Kang and Luke Zettlemoyer and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2107.02153},
year = {2022}
}
备注
ACL 2022(long). Data & Code available at https://faviq.github.io