超越分数：基于模块化检索增强生成的自动短答案评分系统
计算与语言
2024-10-11 v2 人工智能
摘要
自动短答案评分 (ASAS) 有助于减轻教育者的评分负担，但常缺乏详细且可解释的反馈。现有方法在 ASAS 带反馈 (ASAS-F) 中依赖于小数据集微调语言模型，资源密集且难以在不同情境下泛化。近期方法使用大语言模型 (LLM) 专注于评分，虽减少微调，却过度依赖提示工程，或无法生成详尽反馈，或未能充分评估反馈。本文提出一种基于模块化检索增强生成的 ASAS-F 系统，实现严格的零样本和少样本学习下的答案评分与反馈生成。我们设计系统可适应各种教育任务，无需大量提示工程，凭借自动提示生成框架。结果表明，在未见问题上评分准确率提升 9%，提供了可扩展且高性价比的解决方案。
引用
@article{arxiv.2409.20042,
title = {Beyond Scores: A Modular RAG-Based System for Automatic Short Answer Scoring with Feedback},
author = {Menna Fateen and Bo Wang and Tsunenori Mine},
journal= {arXiv preprint arXiv:2409.20042},
year = {2024}
}