SciClaimHunt：用于证据驱动科学主张验证的大型数据集
计算与语言
2025-02-17 v1
摘要
验证科学主张的难度显著高于验证政治或新闻相关主张。不同于政治主张面向相对广泛的受众，科学主张验证系统的用户群体差异很大，既有针对特定假设进行检验的研究人员，也有寻求药品信息的普通用户。此外，科学主张的证据往往高度复杂，涉及技术术语和特定领域的复杂概念，这需要专门的模型才能准确验证。尽管该领域受到广泛关注，但缺乏大规模的科学主张验证数据集以对齐和训练有效模型。为弥合这一差距，我们引入了两个大规模数据集，SciClaimHunt 与 SciClaimHunt_Num，源自科学研究论文。我们提出了若干针对科学主张验证的基准模型，以评估这些数据集的有效性。此外，我们评估了在 SciClaimHunt 和 SciClaimHunt_Num 上训练的模型与现有科学主张验证数据集的表现，以衡量其质量和可靠性。进一步，我们对提议数据集中的主张进行了人类评估，并对基准模型进行了错误分析，以评估其有效性。我们的发现表明，SciClaimHunt 和 SciClaimHunt_Num 作为科学主张验证模型训练的高可靠资源。
引用
@article{arxiv.2502.10003,
title = {SciClaimHunt: A Large Dataset for Evidence-based Scientific Claim Verification},
author = {Sujit Kumar and Anshul Sharma and Siddharth Hemant Khincha and Gargi Shroff and Sanasam Ranbir Singh and Rahul Mishra},
journal= {arXiv preprint arXiv:2502.10003},
year = {2025}
}