NeuralNexus 在 BEA 2025 比赛中的作品：面向 AI 教师中错题识别的检索增强式提示
计算与语言
2025-06-13 v1 人工智能
摘要
本文介绍了我们为 Track 1: AI 驱动教师教学能力评估 BEA 2025 比赛中错题识别任务所构建的系统。该任务涉及评估教师的响应是否正确地识别了学生数学推理中的错误。我们探索了四种方法：(1) 基于多个预训练语言模型(LM)中标记嵌入的池化结果，对机器学习模型进行集成; (2) 使用 [CLS] 嵌入和 MLP 分类器的冻结句子转换器; (3) 带有标记级历史与响应嵌入之间多头注意力的历史感知模型; (4) 基于大型语言模型(LLM)，即 GPT-4o 的检索增强式少样本提示系统。我们的最终系统检索语义相似的示例，构建结构化提示，并使用模式引导的输出解析以产生可解释的预测。它超越了所有基线，证明了将示例驱动式提示与 LLM 推理结合用于教学反馈评估的有效性。我们的代码已公开于 https://github.com/NaumanNaeem/BEA_2025。
引用
@article{arxiv.2506.10627,
title = {NeuralNexus at BEA 2025 Shared Task: Retrieval-Augmented Prompting for Mistake Identification in AI Tutors},
author = {Numaan Naeem and Sarfraz Ahmad and Momina Ahsan and Hasan Iqbal},
journal= {arXiv preprint arXiv:2506.10627},
year = {2025}
}
备注
6 pages, 2 figures, 1 table