内容重于风格：文档级定向内容迁移
计算与语言
2020-10-20 v1
摘要
现有的语言模型擅长从头写作，但许多现实场景需要对现有文档进行重写以满足一组约束。尽管句子级重写已得到相当充分的研究，但极少有工作解决连贯重写整个文档的挑战。在本工作中，我们引入文档级定向内容迁移任务，并在食谱领域予以解决：以食谱作为文档，以饮食限制（如纯素或无乳制品）作为定向约束。我们基于生成式预训练语言模型（GPT-2）提出该任务的一种新颖模型，并在大量大致对齐的食谱对上进行训练（https://github.com/microsoft/document-level-targeted-content-transfer）。自动与人工评估均表明，我们的模型通过生成连贯且多样、遵守约束同时贴近原文档的重写文本，优于现有方法。最后，我们分析模型的重写以评估在使语言生成更契合实质性而非风格性约束这一目标上的进展。
引用
@article{arxiv.2010.08618,
title = {Substance over Style: Document-Level Targeted Content Transfer},
author = {Allison Hegel and Sudha Rao and Asli Celikyilmaz and Bill Dolan},
journal= {arXiv preprint arXiv:2010.08618},
year = {2020}
}
备注
This paper has been accepted to be published at EMNLP 2020