支持生成续写与填空的单一模型之论证
计算与语言
2022-07-04 v2
摘要
在文本指定位置插入文本的任务，称为填空（FitB），对于写作者与自然语言生成（NLG）系统交互以创作文本的各种应用都很有用。虽然先前的工作使用专门训练用于执行填空任务的模型来解决此问题，但更有用的模型是能够有效执行填空和续写两种任务的模型。在这项工作中，我们评估了使用单一模型完成这两项任务的可行性。我们表明，使用 FitB 风格目标预训练的模型能够完成这两项任务，而用于续写预训练的模型则不能。最后，我们展示了如何轻松微调 FitB 模型，以实现对生成长度和词语选择的细粒度控制。
引用
@article{arxiv.2206.04812,
title = {The Case for a Single Model that can Both Generate Continuations and Fill in the Blank},
author = {Daphne Ippolito and Liam Dugan and Emily Reif and Ann Yuan and Andy Coenen and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2206.04812},
year = {2022}
}
备注
This version: fixed bug in the headers of Table 2