ClimateViz: 用于统计推理和科学图表事实验证的基准数据集
计算与语言
2025-06-12 v2 计算机视觉与模式识别
摘要
科学事实核查主要聚焦于文本和表格，忽视了科学图表，这些图表是呈现定量证据和统计推理的关键。我们引入 ClimateViz，这是第一个大规模用于科学事实核查的专家精选科学图表基准数据集。ClimateViz 包含 49,862 条与 2,896 个可视化结果相关的主张，每个主张均标记为支持、反驳或信息不足。为提高可解释性，每个示例包括覆盖趋势、比较和因果关系的结构化知识图谱解释。我们评估了零样本和少样本设置下的主流多模态语言模型，包括专有和开源系统。结果表明，当前模型在基于图表的推理方面仍存在挑战：即使是最佳系统如 Gemini 2.5 和 InternVL 2.5，在仅使用标签的设置下也仅达到 76.2% 到 77.8% 的准确率，远低于人类水平 (89.3% 和 92.7%)。解释增强的输出在某些模型中提高了性能。我们随论文一起发布了数据集和代码。
引用
@article{arxiv.2506.08700,
title = {ClimateViz: A Benchmark for Statistical Reasoning and Fact Verification on Scientific Charts},
author = {Ruiran Su and Jiasheng Si and Zhijiang Guo and Janet B. Pierrehumbert},
journal= {arXiv preprint arXiv:2506.08700},
year = {2025}
}