BEA 2025共享任务：面向数学教师的LLM多维评估的异议感知指令调优
计算与语言
2025-05-27 v1
摘要
我们提出MSA-MathEval，作为BEA 2025共享任务 submissions。该任务评估AI教师回应在四个教学维度上的表现：错误识别、错误位置、提供指导和可操作性。我们的方案采用统一的训练管道，对单个指令调优语言模型进行微调，覆盖所有轨道，无需任何任务特定的架构更改。为提高预测可靠性，我们引入一种异议感知集合推理策略，以增强对少数标签的覆盖。我们的系统在所有轨道上均取得优异表现，在提供指导项目中名列第1，在可操作性项目中名列第3，在错误识别和错误位置项目中均名列第4。这一结果表明，可扩展的指令调优和基于异议的建模对于可靠的、多维度的LLM教育教师评估有效且有力。
引用
@article{arxiv.2505.18549,
title = {MSA at BEA 2025 Shared Task: Disagreement-Aware Instruction Tuning for Multi-Dimensional Evaluation of LLMs as Math Tutors},
author = {Baraa Hikal and Mohamed Basem and Islam Oshallah and Ali Hamdi},
journal= {arXiv preprint arXiv:2505.18549},
year = {2025}
}