使用预训练编码器-解码器模型构建更强的语法纠错基线
计算与语言
2020-10-01 v2
摘要
关于语法纠错（GEC）的研究已报告了使用大量伪数据预训练 Seq2Seq 模型的有效性。然而，由于伪数据规模庞大，这种方法需要耗时的 GEC 预训练。在本研究中，我们探索了双向自回归变换器（BART）作为 GEC 的通用预训练编码器-解码器模型的效用。通过使用这种通用预训练模型进行 GEC，可以省去耗时的预训练步骤。我们发现，单语和多语 BART 模型在 GEC 中均取得了高性能，其中一个结果可与当前英语 GEC 的强劲结果相媲美。我们的实现已在 GitHub 上公开发布（https://github.com/Katsumata420/generic-pretrained-GEC）。
引用
@article{arxiv.2005.11849,
title = {Stronger Baselines for Grammatical Error Correction Using Pretrained Encoder-Decoder Model},
author = {Satoru Katsumata and Mamoru Komachi},
journal= {arXiv preprint arXiv:2005.11849},
year = {2020}
}
备注
6 pages; AACL-IJCNLP 2020