语言模型与自动作文评分
计算与语言
2019-09-23 v1 机器学习
机器学习
摘要
本文提出一项关于自动作文评分（AES）的新对比研究。本工作使用当前最先进的自然语言处理（NLP）神经网络架构，在公开可用的Kaggle AES数据集上达到超越人类水平的准确率。我们比较了两个强大的语言模型BERT和XLNet，并描述了这些模型中的所有层与网络架构。我们使用清晰的记号与图示阐明BERT和XLNet的网络架构，并解释transformer架构相对于传统循环神经网络架构的优势。利用线性代数记号澄清transformer与注意力机制的功能。我们将结果与更传统的方法（如词袋（BOW）和长短期记忆（LSTM）网络）进行比较。
引用
@article{arxiv.1909.09482,
title = {Language models and Automated Essay Scoring},
author = {Pedro Uria Rodriguez and Amir Jafari and Christopher M. Ormerod},
journal= {arXiv preprint arXiv:1909.09482},
year = {2019}
}
备注
17 pages, 7 figures