SciFact-Open：迈向开放领域科学声明验证
计算与语言
2022-10-26 v1 人工智能
摘要
尽管科学声明验证研究已催生出看似接近人类性能的强力系统，这些方法尚未在针对大规模科学文献语料库的现实设定中得到检验。然而，转向该开放领域评测设定带来了独特挑战；特别是，穷尽标注所有证据文档不可行。本文中，我们提出 SciFact-Open，一个旨在 50 万篇研究摘要语料上评估科学声明验证系统性能的新测试集。借助信息检索中的池化技术，我们通过池化并标注四个最先进科学声明验证模型的顶部预测来收集科学声明的证据。我们发现，在较小语料上开发的系统在泛化到 SciFact-Open 时表现大幅下降，F1 至少跌落 15。此外，对 SciFact-Open 中证据的分析揭示了声明验证系统实际部署时可能出现的有趣现象，例如证据仅支持声明之特例的情况。我们的数据集见于 https://github.com/dwadden/scifact-open。
引用
@article{arxiv.2210.13777,
title = {SciFact-Open: Towards open-domain scientific claim verification},
author = {David Wadden and Kyle Lo and Bailey Kuehl and Arman Cohan and Iz Beltagy and Lucy Lu Wang and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2210.13777},
year = {2022}
}
备注
EMNLP Findings 2022. GitHub: https://github.com/dwadden/scifact-open-2022