EdiT5：基于 T5 热启动的半自回归文本编辑模型
计算与语言
2022-10-27 v2
摘要
我们提出 EdiT5——一种新颖的半自回归文本编辑模型，旨在结合非自回归文本编辑与自回归解码的优势。EdiT5 在推理时比传统的序列到序列（seq2seq）模型更快，同时能够建模灵活的输入-输出变换。这是通过将生成过程分解为三个子任务实现的：（1）标注，以决定输出中保留的输入词元子集；（2）重排序，以定义它们在输出文本中的顺序；（3）插入，以填充输入中不存在的缺失词元。负责生成输出大部分的标注和重排序步骤是非自回归的，而插入步骤使用自回归解码器。根据任务不同，EdiT5 平均需要显著更少的自回归步骤，与 seq2seq 模型相比展现出最高达 25 倍的加速。在质量方面，EdiT5 以预训练的 T5 检查点初始化，在三个 NLG 任务（句子融合、语法错误纠正和去语境化）上评估时，在高资源设定下取得与 T5 相当的性能，而在低资源设定下明显优于 T5。
引用
@article{arxiv.2205.12209,
title = {EdiT5: Semi-Autoregressive Text-Editing with T5 Warm-Start},
author = {Jonathan Mallinson and Jakub Adamek and Eric Malmi and Aliaksei Severyn},
journal= {arXiv preprint arXiv:2205.12209},
year = {2022}
}
备注
To be published in Findings of EMNLP 2022