标记：高亮错误和标注缺失内容的可视化评分
计算与语言
2024-04-23 v1
摘要
本文介绍了"标记"（Marking）这一新型评分任务，通过对学生作答进行深入分析并提供视觉高亮，来增强自动评分系统的功能。不同于传统提供二元得分的系统，"标记"识别并对学生作答的片段进行正确、错误或无关类别，并检测金标准答案中的遗漏。我们引入了一个由领域专家精心挑选的数据集，专为此任务而设计。我们将"标记"建模为自然语言推理（NLI）任务的扩展，该任务在自然语言处理领域得到广泛探索。在 NLI 中，金标准答案和学生作答分别扮演前提和假设的角色。随后，我们训练语言模型以从学生作答中识别包含、矛盾和中性，并添加识别金标准答案遗漏的维度。我们的实验设置使用 transformer 模型，具体为 BERT 和 RoBERTa，并采用 e-SNLI 数据集进行智能训练。我们呈现了大量基线结果，凸显了"标记"任务的复杂性，为后续研究明确了清晰的轨迹。我们的工作不仅为基于人工智能的教育评估工具开辟了新的研究方向，也为人工智能教育社区提供了宝贵的基准，供其参与并在未来不断改进。代码和数据集可在 https://github.com/luffycodes/marking 找到。
引用
@article{arxiv.2404.14301,
title = {Marking: Visual Grading with Highlighting Errors and Annotating Missing Bits},
author = {Shashank Sonkar and Naiming Liu and Debshila B. Mallick and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2404.14301},
year = {2024}
}