基于浅层激进解码的即时语法错误纠正
计算与语言
2021-06-10 v1 机器学习
摘要
在本文中，我们提出浅层激进解码（SAD）以提升 Transformer 用于即时语法错误纠正（GEC）的在线推理效率。SAD 通过两项创新优化 GEC 的在线推理效率：1）它激进地并行解码尽可能多的 token，而非每步总只解码一个 token，以提升计算并行性；2）它使用浅层解码器而非具有均衡编码器-解码器深度的常规 Transformer 架构，以降低推理期间的计算成本。在英语与中文 GEC 基准上的实验表明，激进解码可产生与贪心解码相同的预测，但在线推理显著加速。其与浅层解码器的结合可相较强大的 Transformer 基线提供甚至更高的在线推理加速而无质量损失。我们的方法不仅使单一模型在英语 GEC 基准上取得最先进结果：在 CoNLL-14 上 66.4 F0.5、在 BEA-19 测试集上 72.9 F0.5，且相较 Transformer-big 模型有近 10 倍在线推理加速，而且易于适配其他语言。我们的代码见于 https://github.com/AutoTemp/Shallow-Aggressive-Decoding。
引用
@article{arxiv.2106.04970,
title = {Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding},
author = {Xin Sun and Tao Ge and Furu Wei and Houfeng Wang},
journal= {arXiv preprint arXiv:2106.04970},
year = {2021}
}
备注
Accepted by ACL2021 (main conference)