MathBode: 基于频率响应测量 LLM 推理稳定性

本文提出 MathBode，这是一种用于大型语言模型(LLM)数学推理的动态诊断工具。不同于单次准确率，MathBode 将每个参数问题视为一个系统：我们对单个参数进行正弦驱动，并拟合模型输出与精确解的第一谐波响应。这产生可解释的、频率分辨的指标——增益(幅度跟踪)和相位(滞后)，形成 Bode 风格的指纹。我们在五个闭形式函数族(线性求解、比率/饱和、复利、2x2 线性系统、相似三角形)上进行测试，诊断揭示了系统性的低通行为和不断增大的相位滞后，这些现象单凭准确率会忽略。我们将几个模型与进行符号基线校准的仪器进行比较($G \approx 1$, $\phi \approx 0$)。结果在动力学方面将前沿模型与中档模型区分开来，提供一种紧凑、可复现的协议，补充标准基准，提供推理保真度和一致性的可操作性测量。我们开源数据集和代码，以便进一步研究和采用。