ClaimDB：基于大规模结构化数据的事实验证基准

现实世界的事实核查常涉及对大规模结构化数据的论点进行验证。尽管事实验证基准取得了显著进展，但此场景仍 largely 未被探索。本文我们引入ClaimDB，一个事实验证基准，论证来源于数百万记录和多个表格的组合。ClaimDB 包含80个真实世界的数据库，涵盖治理、医疗、媒体、教育和自然科学等广泛领域。规模化大规模验证方法——依赖“阅读”证据的做法失效，迫使人们及时转向可执行程序推理。我们对30个最先进的专有和开源（规模<70B）大语言模型进行了大规模实验，发现超过半数模型准确率低于55%。我们的分析还显示，闭源和开源模型在含糊处理方面表现困难——即承认无证据可作决定——这引发对其在高风险数据分析任务中可靠性的怀疑。我们发布了该基准、代码以及大语言模型排行榜，地址为 https://claimdb.github.io。