VerAs: 验证然后评估STEM实验报告
计算与语言
2024-04-26 v2 人工智能
机器学习
摘要
随着STEM教育越来越重视批判性思维技能，科学写作在强调探究技能的课程中扮演着越来越重要的角色。最近发布的一个数据集包含来自基于探究的物理课程的两组大学水平实验报告，该数据集依赖于利用多个维度的分析性评估量规，明确了学科知识和良好解释的一般组成部分。每个分析维度按6分制进行评估，以向学生提供详细的反馈，帮助他们提高科学写作技能。手动评估可能很慢，并且难以在大型班级的所有学生中校准一致性。尽管在STEM学科中关于开放式问题的自动评估已有大量工作，但在实验报告等长篇写作方面的工作却少得多。我们提出了一种端到端的神经架构，该架构具有独立的验证器和评估模块，其灵感来自开放域问答（OpenQA）的方法。VerAs首先验证报告是否包含与给定量规维度相关的任何内容，如果包含，则评估相关句子。在实验报告上，VerAs优于基于OpenQA系统或自动作文评分（AES）的多个基线。VerAs在中学物理论文的分析性量规上也表现良好。
引用
@article{arxiv.2402.05224,
title = {VerAs: Verify then Assess STEM Lab Reports},
author = {Berk Atil and Mahsa Sheikhi Karizaki and Rebecca J. Passonneau},
journal= {arXiv preprint arXiv:2402.05224},
year = {2024}
}
备注
It is accepted to AIED2024!