SeePhys：看是否帮助思考？——面向视觉物理推理的基准测试
人工智能
2025-10-07 v8 物理教育
科普物理
摘要
我们提出 SeePhys，这是一个大规模多模态基准测试，用于 LLM 推理，涵盖从中学到博士资格考试的物理问题。该基准测试覆盖 7 个基本领域，涉及物理学专科，包含 21 类的高度异构图表。与以往工作不同，我们的基准测试中大比例的视觉元素是至关重要的（占比 75%），这些问题必须提取视觉信息才能得出正确解答。通过广泛的评估，我们观察到即使是最先进的视觉推理模型（如 Gemini-2.5-pro 和 o4-mini）在我们的基准测试上也只有不到 60% 的准确率。这些结果揭示了当前大型语言模型在视觉理解能力方面的根本挑战，尤其体现在：(i) 在图表解释与物理推理之间建立严格的耦合，以及 (ii) 克服其持续依赖文本线索作为认知捷径的倾向。
引用
@article{arxiv.2505.19099,
title = {SeePhys: Does Seeing Help Thinking? -- Benchmarking Vision-Based Physics Reasoning},
author = {Kun Xiang and Heng Li and Terry Jingchen Zhang and Yinya Huang and Zirong Liu and Peixin Qu and Jixi He and Jiaqi Chen and Yu-Jie Yuan and Jianhua Han and Hang Xu and Hanhui Li and Mrinmaya Sachan and Xiaodan Liang},
journal= {arXiv preprint arXiv:2505.19099},
year = {2025}
}
备注
46 pages