OmniDialog：面向任务型对话系统的全能预训练模型

预训练对话模型（PCM）在任务型对话（TOD）系统中展现出了显著的效果。许多 PCM 主要关注对话管理任务（如对话状态跟踪）、对话生成任务（如回复生成），或两者兼有。然而，现有的 PCM 很少考虑对话理解任务，例如对话问答和摘要任务。这些任务允许 PCM 从不同角度获取对话上下文。这一观察自然引出了一个问题：如果将 PCM 在对话管理、生成和理解任务上进行预训练，能否提升下游对话任务的性能？为了研究这个问题，我们提出了一个全能对话预训练模型（OmniDialog）。它通过多任务学习将这三个对话任务统一到一个整体框架中，促进了任务间的交流。OmniDialog 的预训练语料库涵盖 $\mathbf{7}$ 个以对话为中心的任务，取材于 $\mathbf{15}$ 个数据集，包含超过 $\mathbf{3.2}$ 百万条对话话语。据我们所知，OmniDialog 是首个在对话管理、生成和理解领域进行预训练的 PCM。我们在四个任务上评估了其性能：对话摘要、端到端对话建模、对话状态跟踪和意图分类。结果突显了其在领域迁移学习、低资源和全数据集场景下的有效性。此外，为了更细致地了解 OmniDialog 的优势和潜在缺陷，我们设计了一个面向对话任务的细粒度分析框架。实验结果表明，OmniDialog 擅长处理困难样本，例如长对话和长回复。