DivTOD：释放 LLM 在多样化任务型对话表示中的能力

在通用文本上预训练的语言模型在各个领域取得了令人瞩目的成果。然而，与通用文本相比，任务型对话 (TOD) 独特的语言特征限制了现有语言模型的实际效用。当前的任务型对话预训练方法忽略了对话的“一对多”属性，即在相同的对话语境下，多个回复可能都是合适的。在本文中，我们提出了一种名为 DivTOD 的新型对话预训练模型，它与 LLM 协作以学习多样化的任务型对话表示。DivTOD 指导 LLM 将多样化的知识转移到较小的模型中，同时去除与任务型对话相矛盾的领域知识。实验表明，我们的模型在各种下游对话任务上优于强大的 TOD 基线，并学习到了任务型对话的内在多样性。