基于 ChatGPT 增强的多阶段预训练用于多场景多领域对话摘要

对话摘要涉及广泛的场景与领域。然而，现有方法通常仅适用于特定场景或领域。在本研究中，我们提出了一种专为多场景多领域对话摘要设计的新预训练模型。它采用多阶段预训练策略，以缩小预训练目标与微调目标之间的差距。具体而言，我们首先利用大规模多场景多领域对话数据进行领域感知预训练，以增强预训练模型的适应性。随后，我们使用由 ChatGPT 标注的大规模多场景多领域“对话-摘要”平行数据开展任务导向预训练，以增强预训练模型的对话摘要能力。在来自不同场景与领域的三个对话摘要数据集上的实验结果表明，我们的预训练模型在全量微调、零样本和少样本设定下均显著优于先前的最先进模型。