使用混合神经网络对学生科学写作进行自动评分
计算与语言
2023-12-27 v2
摘要
本研究探讨了多视角混合神经网络（HNN）在科学教育中使用分析性评分量表对学生作答进行评分的有效性。我们将 HNN 模型与四种机器学习方法（BERT、AACR、朴素贝叶斯和逻辑回归）的准确率进行了比较。结果表明，在五个评分方面，HNN 的准确率分别比朴素贝叶斯、逻辑回归、AACR 和 BERT 高出 8%、3%、1% 和 0.12%（p<0.001）。HNN 的总体感知准确率（M = 96.23%，SD = 1.45%）与训练和推理成本高昂的 BERT 模型的准确率（M = 96.12%，SD = 1.52%）相当。我们还观察到，HNN 在训练和推理方面的效率是 BERT 的 2 倍，并且其效率与轻量级但准确率较低的朴素贝叶斯模型相当。我们的研究证实了使用 HNN 对学生科学写作进行自动评分的准确性和有效性。
引用
@article{arxiv.2312.03752,
title = {Automatic Scoring of Students' Science Writing Using Hybrid Neural Network},
author = {Ehsan Latif and Xiaoming Zhai},
journal= {arXiv preprint arXiv:2312.03752},
year = {2023}
}
备注
Accepted to AI4ED-AAAI24