基于 Transformer 模型的自动作文评分
计算与语言
2022-02-15 v1
摘要
自动作文评分（AES）在教育领域正受到越来越多的关注，因为它显著减轻了人工评分的负担，并允许为学习者提供临时反馈。基于机器学习的自然语言处理已被证明特别适用于文本分类和 AES。虽然许多用于 AES 的机器学习方法仍依赖于词袋（BOW）方法，但我们在本文中考虑了一种基于 transformer 的方法，将其性能与基于 BOW 方法的逻辑回归模型进行比较，并讨论它们的差异。该分析基于 2,088 封针对问题解决任务的电子邮件回复，这些回复按礼貌程度进行了人工标注。该分析中考虑的两种 transformer 模型在没有任何超参数调优的情况下均优于基于回归的模型。我们认为，对于诸如礼貌分类之类的 AES 任务，基于 transformer 的方法具有显著优势，而 BOW 方法由于不考虑词序并将单词还原为词干而存在不足。此外，我们展示了此类模型如何帮助提高人工评分者的准确性，并提供了关于如何为实现自身目的而实施基于 transformer 的模型的详细说明。
引用
@article{arxiv.2110.06874,
title = {Automated Essay Scoring Using Transformer Models},
author = {Sabrina Ludwig and Christian Mayer and Christopher Hansen and Kerstin Eilers and Steffen Brandt},
journal= {arXiv preprint arXiv:2110.06874},
year = {2022}
}
备注
18 pages, 1 figure, 5 tables; for the associated source code, see https://github.com/LucaOffice/Publications/tree/main/Automatic_Essay_Scoring_Using_Transformer_Models