PRISM-Physics：基于因果DAG的物理推理过程评估
机器学习
2025-11-03 v2
摘要
竞赛式推理基准在数学和编程领域推动了评估进展，但物理领域相对探索不足。大多数现有物理基准仅评估最终答案，无法捕捉推理过程；而近期的逐步方法依赖于启发式的LLM评分或受限的线性假设，限制了可靠性和诊断有效性。我们提出PRISM-Physics，这是一个用于复杂物理推理问题的过程级评估框架和基准。解决方案表示为公式的有向无环图（DAG），显式编码中间步骤之间的因果依赖关系，以实现细粒度、可解释且在理论上有依据的评分。我们证明了DAG表示及其对应评分策略的最优性。结合我们开发的用于符号公式等价匹配的完全规则方法，确保在各种表述形式下实现一致的验证，无需启发式判断。结果表明，我们的评估框架更符合人类专家的评分标准。在基于最先进LLM的实验中，我们发现物理推理中仍然存在持久的错误，逐步评分不仅提供诊断性见解，还为后续训练提供了丰富的信号。通过结构严谨性、理论保证和符号验证的结合，PRISM-Physics为推动过程级评估并指导开发具备更深层次科学推理能力的模型提供了原则性基础。
引用
@article{arxiv.2510.03185,
title = {PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning},
author = {Wanjia Zhao and Qinwei Ma and Jingzhe Shi and Shirley Wu and Jiaqi Han and Yijia Xiao and Si-Yuan Chen and Xiao Luo and Ludwig Schmidt and James Zou},
journal= {arXiv preprint arXiv:2510.03185},
year = {2025}
}