论BERT在自动作文评分中的应用：多尺度作文表示的联合学习
计算与语言
2022-05-24 v2 人工智能
摘要
近年来，预训练模型已在大多数自然语言处理（NLP）任务中占据主导地位。然而，在自动作文评分（AES）领域，诸如BERT之类的预训练模型尚未被恰当使用以超越LSTM等其他深度学习模型。在本文中，我们引入了可用于BERT的一种新颖多尺度作文表示，其能够被联合学习。我们还采用多损失函数以及来自域外作文的迁移学习来进一步提升性能。实验结果表明，我们的方法从多尺度作文表示的联合学习中获益良多，并在ASAP任务的所有深度学习模型中取得近乎最先进的结果。我们的多尺度作文表示也能很好地泛化到CommonLit Readability Prize数据集，这表明本文提出的新型文本表示可能成为长文本任务的一种新颖且有效的选择。
引用
@article{arxiv.2205.03835,
title = {On the Use of BERT for Automated Essay Scoring: Joint Learning of Multi-Scale Essay Representation},
author = {Yongjie Wang and Chuan Wang and Ruobing Li and Hui Lin},
journal= {arXiv preprint arXiv:2205.03835},
year = {2022}
}
备注
Accepted to NAACL 2022 as a long paper