基于上下文摘要与领域模式的无监督零样本泛化端到端任务型对话系统
计算与语言
2024-07-24 v1 机器学习
摘要
任务型对话系统通过促进直观且富有表现力的自然语言交互，帮助用户达成目标。任务型对话系统的最先进方法将该问题表述为条件序列生成任务，并在监督设置下微调预训练因果语言模型。这需要对每个新领域或任务都有标注训练数据，而获取此类数据极其费力且昂贵，从而成为将系统扩展到广泛领域的瓶颈。为克服这一挑战，我们提出了一种新颖的零样本泛化端到端任务型对话系统ZS-ToD，它利用领域模式实现对未见领域的鲁棒泛化，并有效摘要对话历史。我们采用GPT-2作为骨干模型，并引入两步训练过程：第一步目标是学习对话数据的一般结构，第二步优化响应生成以及对话状态与系统动作等中间输出。与在给定领域内训练以完成特定意图并记忆任务特定对话模式的最先进系统不同，ZS-ToD通过领域模式理解领域语义并无缝泛化到未见领域，从而学习通用的任务完成技能。我们在涵盖多达20个独特领域的SGD和SGD-X数据集上进行了广泛的实验评估，ZS-ToD在关键指标上优于最先进系统，联合目标准确率提升+17%，inform提升+5。此外，我们给出了详细的消融研究以证明所提组件及训练机制的有效性。
引用
@article{arxiv.2303.16252,
title = {Zero-Shot Generalizable End-to-End Task-Oriented Dialog System using Context Summarization and Domain Schema},
author = {Adib Mosharrof and M. H. Maqbool and A. B. Siddique},
journal= {arXiv preprint arXiv:2303.16252},
year = {2024}
}