RedPenNet 用于语法错误纠正：输出到词元，注意力到跨度
计算与语言
2023-09-21 v1
摘要
文本编辑任务，包括句子融合、句子拆分与改写、文本简化以及语法错误纠正（GEC），具有处理高度相似输入与输出序列的共同特征。该研究方向位于两个成熟领域的交叉点：（i）常用于神经机器翻译（NMT）等任务的全自回归序列到序列方法，以及（ii）常用于词性标注、命名实体识别（NER）等类似任务的序列标注技术。在追求平衡架构的过程中，研究者提出了许多富有想象力且非传统的解决方案，我们将在相关工作中讨论。我们处理文本编辑任务的方法称为 RedPenNet，旨在减少特定序列到编辑（Sequence-To-Edits）模型中存在的架构与参数冗余，同时保留其半自回归优势。我们的模型在 BEA-2019（测试集）上取得 77.60 的 分数，除系统组合外可视为最先进（state-of-the-art），在 UAGEC+Fluency（测试集）基准上取得 67.71。本研究在 UNLP 2023 研讨会背景下进行，并作为乌克兰语语法错误纠正（GEC）共享任务的论文发表。本研究旨在应用 RedPenNet 方法解决乌克兰语的 GEC 问题。
引用
@article{arxiv.2309.10898,
title = {RedPenNet for Grammatical Error Correction: Outputs to Tokens, Attentions to Spans},
author = {Bohdan Didenko and Andrii Sameliuk},
journal= {arXiv preprint arXiv:2309.10898},
year = {2023}
}