基于领域无关多源预训练的低资源对话摘要

随着日常生活中对话数据量的快速增长，对对话摘要的需求日益增加。不幸的是，由于带有标注摘要的对话数据不足，训练大型摘要模型通常不可行。大多数现有的低资源对话摘要工作直接在其他领域（如新闻领域）预训练模型，但它们普遍忽视了对话与传统文章之间的巨大差异。为了弥合领域外预训练与领域内微调之间的差距，本文提出了一种多源预训练范式，以更好地利用外部摘要数据。具体而言，我们利用大规模领域内非摘要数据分别预训练对话编码器和摘要解码器。然后，组合的编码器-解码器模型在领域外摘要数据上使用对抗性评论家进行预训练，旨在促进领域无关的摘要生成。在两个公开数据集上的实验结果表明，仅使用有限的训练数据，我们的方法就取得了有竞争力的性能，并在不同的对话场景中具有良好的泛化能力。