编码器-解码器模型可从预训练掩码语言模型中受益以进行语法错误纠正
计算与语言
2020-06-02 v2
摘要
本文研究了如何将预训练掩码语言模型（MLM，如 BERT）有效融入编码器-解码器（EncDec）模型以用于语法错误纠正（GEC）。该问题的答案并非如人所想般直接，因为以往将 MLM 融入 EncDec 模型的常用方法在应用于 GEC 时存在潜在缺陷。例如，GEC 模型的输入分布（含错误、笨拙等）可能与预训练 MLM 所用的语料库分布差异显著；然而，以往方法未解决此问题。我们的实验表明，所提方法——先使用给定 GEC 语料库微调 MLM，再将微调后 MLM 的输出作为 GEC 模型中的附加特征——可最大化 MLM 的益处。性能最佳的模型在 BEA-2019 与 CoNLL-2014 基准上取得了当前最优（state-of-the-art）表现。我们的代码公开于：https://github.com/kanekomasahiro/bert-gec。
引用
@article{arxiv.2005.00987,
title = {Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction},
author = {Masahiro Kaneko and Masato Mita and Shun Kiyono and Jun Suzuki and Kentaro Inui},
journal= {arXiv preprint arXiv:2005.00987},
year = {2020}
}
备注
Accepted as a short paper to the 58th Annual Conference of the Association for Computational Linguistics (ACL-2020)