摘要、提纲与扩写：基于抽取式摘要分层监督的长文本生成
计算与语言
2022-09-12 v2
摘要
生成连贯长文本的困难在于现有模型过度关注局部词的预测，而无法对生成内容进行高层规划或捕捉文本块之间的高层语篇依赖。受人类写作过程启发——先列出要点清单或目录，再将每个要点扩展为完整文章——我们提出 {\it SOE}，一种包含摘要、提纲与扩写流水线的长文本生成系统：模型首先为长文本的不同段落勾勒摘要，然后对每个要点进行扩写以生成相应段落。为避免费力的摘要征集过程，我们提出 {\it 重构} 策略，通过选取段落最具信息量的部分以无监督方式抽取段落摘要来重构该段落。所提出的生成系统具有以下优点：(1) 摘要为文本生成提供高层指导，避免个体词预测的局部极小；(2) 高层语篇依赖被捕捉于摘要间的条件依赖中，并在摘要扩展过程中得以保持；(3) 此外，通过将上下文表示为简洁摘要，我们能够考虑显著更多的上下文。大量实验表明，SOE 生成的长文本质量显著更优，且收敛速度更快。
引用
@article{arxiv.2010.07074,
title = {Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical Supervision from Extractive Summaries},
author = {Xiaofei Sun and Zijun Sun and Yuxian Meng and Jiwei Li and Chun Fan},
journal= {arXiv preprint arXiv:2010.07074},
year = {2022}
}
备注
To appear at COLING 2022