CHECK-MAT：检验俄罗斯全国统一考试手写数学答案
计算机视觉与模式识别
2025-08-01 v1 人工智能
机器学习
摘要
本文引入新基准，EGE-Math Solutions Assessment Benchmark，用于评估视觉语言模型（VLM）在评估手写数学解答方面的能力。与现有聚焦问题解决的基准不同，我们的方法聚焦于理解学生解答、识别错误并根据固定标准 Assigning 等级。我们汇编了122份来自俄罗斯全国统一考试（EGE）的扫描版解答，配合官方专家等级，并评估了来自Google、OpenAI、Arcee AI和Alibaba Cloud的七个现代VLM在三个推理模式下的表现。结果揭示了当前在数学推理和人类评分标准对齐方面的局限，开启了AI辅助评估的新研究方向。代码可在https://github.com/Karifannaa/Auto-check-EGE-math 查阅。
引用
@article{arxiv.2507.22958,
title = {CHECK-MAT: Checking Hand-Written Mathematical Answers for the Russian Unified State Exam},
author = {Ruslan Khrulev},
journal= {arXiv preprint arXiv:2507.22958},
year = {2025}
}
备注
15 pages, 3 figures, 10 tables. Code is available at: https://github.com/Karifannaa/Auto-check-EGE-math