基于文本编辑模型的文本生成
计算与语言
2022-06-15 v1
摘要
文本编辑模型近来已成为 seq2seq 模型在单语文本生成任务（如语法错误纠正、简化和风格迁移）中的重要替代方案。这些任务具有一个共同特征——源文本与目标文本间存在大量文本重叠。文本编辑模型利用这一观察，通过学习预测应用于源序列的编辑操作来生成输出。相比之下，seq2seq 模型从零开始逐词生成输出，因而推理较慢。文本编辑模型相较 seq2seq 模型具有多项优势，包括更快的推理速度、更高的样本效率，以及对输出的更好控制与可解释性。本教程全面概述文本编辑模型与当前 SOTA 方法，并分析其优劣。我们讨论了与落地生产相关的挑战，以及这些模型如何用于缓解幻觉与偏差——二者均为文本生成领域的紧迫挑战。
引用
@article{arxiv.2206.07043,
title = {Text Generation with Text-Editing Models},
author = {Eric Malmi and Yue Dong and Jonathan Mallinson and Aleksandr Chuklin and Jakub Adamek and Daniil Mirylenka and Felix Stahlberg and Sebastian Krause and Shankar Kumar and Aliaksei Severyn},
journal= {arXiv preprint arXiv:2206.07043},
year = {2022}
}
备注
Accepted as a tutorial at NAACL 2022