利用关键信息建模通过对偶微调改进少数据约束的新闻标题生成

近期的语言生成模型大多在大规模数据集上训练，而在某些实际场景中，训练数据集往往获取成本高昂且规模较小。本文研究少数据约束生成的挑战性任务，尤其是生成的新闻标题简短却同时被读者期望保持可读且信息丰富。我们强调关键信息建模任务，并通过形式化定义关键信息预测与标题生成任务之间的概率对偶约束，提出一种新颖的对偶微调方法。所提方法能从有限数据中捕获更多信息，建立分离任务间的联系，并适用于少数据约束生成任务。此外，该方法可利用多种预训练生成范式，例如自回归和编码器-解码器模型。我们进行了大量实验，证明我们的方法有效且高效，在两个公开数据集上于语言建模指标和信息正确性指标方面均取得改进性能。