MathSticks：基于火柴棍谜题的视觉符号组合推理基准
计算机视觉与模式识别
2025-10-02 v1
摘要
我们引入了 \textsc{MathSticks}，这是一个用于视觉符号组合推理（VSCR）的基准测试，它统一了视觉感知、符号操作和算术一致性。每个任务呈现一个错误的火柴棍等式，要求在严格的守恒规则下移动一根或两根火柴棍来纠正它。该基准包括文本引导和纯视觉两种设置，系统地涵盖了数字规模、移动复杂性、解的多重性和运算符变化，包含 140 万个生成实例和一个精选测试集。对 14 个视觉-语言模型的评估揭示了显著的局限性：闭源模型仅在简单情况下成功，开源模型在视觉场景下失败，而人类的准确率超过 90\%。这些发现确立了 \textsc{MathSticks} 作为一个严格的测试平台，以推动跨视觉和符号的组合推理。我们的代码和数据集已在 https://github.com/Yuheng2000/MathSticks 公开。
引用
@article{arxiv.2510.00483,
title = {MathSticks: A Benchmark for Visual Symbolic Compositional Reasoning with Matchstick Puzzles},
author = {Yuheng Ji and Huajie Tan and Cheng Chi and Yijie Xu and Yuting Zhao and Enshen Zhou and Huaihai Lyu and Pengwei Wang and Zhongyuan Wang and Shanghang Zhang and Xiaolong Zheng},
journal= {arXiv preprint arXiv:2510.00483},
year = {2025}
}