预训练迁移学习模型在自动短答案评分上的比较评估
计算与语言
2020-09-04 v1
摘要
自动短答案评分（ASAG）是在给定问题与标准答案的情况下，通过计算方法对学生答案进行评分的过程。先前工作实现了概念映射、方面映射等方法，部分使用了传统词嵌入来提取语义特征。它们手动提取多种特征以在相应数据集上训练。我们使用迁移学习模型 ELMo、BERT、GPT 与 GPT-2 的预训练嵌入来评估它们在该任务上的效率。我们以从这些模型嵌入中提取的单一特征——余弦相似度——进行训练。我们在 Mohler 数据集上将四个模型的 RMSE 分数与相关性度量与先前工作进行比较。我们的工作表明 ELMo 优于其他三个模型。我们也简要描述了四个迁移学习模型，并总结了迁移学习模型结果不佳的可能原因。
引用
@article{arxiv.2009.01303,
title = {Comparative Evaluation of Pretrained Transfer Learning Models on Automatic Short Answer Grading},
author = {Sasi Kiran Gaddipati and Deebul Nair and Paul G. Plöger},
journal= {arXiv preprint arXiv:2009.01303},
year = {2020}
}
备注
7 pages, 3 figures, 3 tables. "for associated work, refer https://github.com/gsasikiran/Evaluation-of-transfer-learning-models-on-automatic-short-answer-grading"