GEC-DePenD：解耦排列与解码的非自回归语法错误纠正
计算与语言
2023-11-15 v1
摘要
语法错误纠正(GEC)是一项重要的NLP任务，目前通常由自回归序列到序列模型解决。然而，此类方法因逐词生成而固有缓慢，故需要非自回归替代方案。本工作中，我们提出一种新颖的GEC非自回归方法，将架构解耦为一个排列网络(输出自注意力权重矩阵，可用于束搜索以找到输入词元(含辅助{ins}词元)的最佳排列)和一个基于步展开去噪自编码器的解码网络(填充特定词元)。这使我们仅通过排列网络的一次前向传播即可找到词元排列，避免自回归构造。我们表明，所得网络优于先前已知的GEC非自回归方法，并达到不使用语言特定合成数据生成方法的自回归方法水平。我们的结果得到在ConLL-2014和Write&Improve+LOCNESS数据集上的综合实验验证以及支持我们架构与算法选择的广泛消融研究支撑。
引用
@article{arxiv.2311.08191,
title = {GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding},
author = {Konstantin Yakovlev and Alexander Podolskiy and Andrey Bout and Sergey Nikolenko and Irina Piontkovskaya},
journal= {arXiv preprint arXiv:2311.08191},
year = {2023}
}
备注
ACL 2023