微调 Transformer 模型构建自动短答案评分系统

Mithun Thakkar

微调 Transformer 模型构建自动短答案评分系统

计算与语言 2021-09-28 v1 人工智能

作者: Mithun Thakkar

摘要

自 1966 年以来，针对教育场景中自动评分学生测验与考试答案系统的研究持续进行。多年来，该问题被划分为许多类别。其中，文本答案评分被分为短答案评分与作文评分。本工作的目标是开发一个基于机器学习的短答案评分（ASAG）系统。为此，我构建了一个在 STS 基准数据集上预训练的 Roberta Large 模型上进行微调的系统，并创建了界面以展示系统的生产可用性。我在 Mohler 扩展数据集与 SciEntsBank 数据集上评估了系统性能。所开发系统在 Mohler 数据集上取得了 0.82 的皮尔逊相关系数与 0.7 的 RMSE，优于该数据集上 SOTA 性能（相关系数 0.805，RMSE 0.793）。此外，在 SciEntsBank 数据集上取得了 0.79 的皮尔逊相关系数与 0.56 的 RMSE，进一步印证了系统的鲁棒性。取得这些结果过程中的若干观察包括：使用批大小 1 比使用批大小 16 或 32 效果更好，以及使用 huber 损失作为损失函数在该回归任务上表现良好。该系统在各种随机种子下于训练与验证集上进行了试用与测试，并经过调整以在任何数据集上达到至少 0.76 的相关系数与最大 0.15（满分 1）的 RMSE。

关键词

自动短答案评分 Transformer 微调 Roberta STS 基准 Mohler 数据集 SciEntsBank 数据集回归

引用

@article{arxiv.2109.12300,
  title  = {Finetuning Transformer Models to Build ASAG System},
  author = {Mithun Thakkar},
  journal= {arXiv preprint arXiv:2109.12300},
  year   = {2021}
}

备注

49 pages, 30 figures, dissertation submitted at University of Limerick(Ireland)

微调 Transformer 模型构建自动短答案评分系统

摘要

关键词

引用

备注

相关论文