基于拷贝感知隐对齐的非自回归文本编辑
计算与语言
2023-10-13 v1
摘要
近期文本编辑领域的研究出现了从 Seq2Seq 到 Seq2Edit 的范式转变，旨在解决前者自回归推理慢的问题。尽管结果令人鼓舞，Seq2Edit 方法仍面临若干挑战，如生成不灵活以及难以泛化到其他语言。在本工作中，我们提出一种新颖的非自回归文本编辑方法以规避上述问题，通过隐式 CTC 对齐对编辑过程建模。我们对 CTC 做了关键扩展，将拷贝操作引入编辑空间，从而更高效地管理编辑中的文本重叠。我们在 GEC 和句子融合任务上进行了大量实验，表明我们提出的方法显著优于现有 Seq2Edit 模型，并取得与 Seq2Seq 相似甚至更好的结果，同时速度提升超过 。此外，它在德语和俄语上展现出良好的泛化性。深入分析揭示了我们的方法在各种场景下的鲁棒性以及生成流畅灵活输出的优势。
引用
@article{arxiv.2310.07821,
title = {Non-autoregressive Text Editing with Copy-aware Latent Alignments},
author = {Yu Zhang and Yue Zhang and Leyang Cui and Guohong Fu},
journal= {arXiv preprint arXiv:2310.07821},
year = {2023}
}
备注
EMNLP 2023