Felix: 通过标注与插入实现灵活文本编辑
计算与语言
2020-03-25 v1
摘要
我们提出 Felix——一种用于生成的灵活文本编辑方法,旨在最大程度受益于双向上下文解码与自监督预训练的思想。与传统的序列到序列(seq2seq)模型不同,Felix 在低资源环境下高效且在推理时快速,同时能够建模灵活的输入-输出变换。我们通过将文本编辑任务分解为两个子任务来实现这一点:标注(deciding on the subset of input tokens and their order in the output text)与插入(填补输出中不在输入里的缺失词)。标注模型采用一种新颖的指针(Pointer)机制,而插入模型基于掩码语言模型(Masked Language Model)。这两个模型均选为非自回归以保证更快的推理。在四个 NLG 任务——句子融合、机器翻译自动后编辑、摘要和文本简化——上的评估表明,Felix 优于近期文本编辑方法及强 seq2seq 基线。
引用
@article{arxiv.2003.10687,
title = {Felix: Flexible Text Editing Through Tagging and Insertion},
author = {Jonathan Mallinson and Aliaksei Severyn and Eric Malmi and Guillermo Garrido},
journal= {arXiv preprint arXiv:2003.10687},
year = {2020}
}