损坏并非全无益处：通过损坏将语篇结构融入预训练以用于作文评分
计算与语言
2020-10-14 v1
摘要
现有的自动作文评分与文档表示学习方法通常依赖语篇分析器将语篇结构融入文本表示。然而，分析器的性能并非总是充足，尤其当用于学生作文等含噪文本时。本文提出一种无监督预训练方法，从连贯与衔接方面捕捉作文的语篇结构，无需任何语篇分析器或标注。我们为所提预训练方法引入若干种词、句和段落级的损坏技术，并将掩码语言建模预训练与我们的预训练方法增强结合，以同时利用上下文与语篇信息。我们提出的无监督方法在作文 Organization 评分任务上取得了新的最先进结果。
引用
@article{arxiv.2010.06137,
title = {Corruption Is Not All Bad: Incorporating Discourse Structure into Pre-training via Corruption for Essay Scoring},
author = {Farjana Sultana Mim and Naoya Inoue and Paul Reisert and Hiroki Ouchi and Kentaro Inui},
journal= {arXiv preprint arXiv:2010.06137},
year = {2020}
}