基于大规模预训练语言模型的交替循环对话模型
计算与语言
2021-04-28 v3 人工智能
摘要
现有的对话系统模型需要大量人工标注，且难以泛化到不同任务。诸如 BERT 和 GPT-2 (Devlin et al., 2019; Radford et al., 2019) 等大型预训练语言模型近期的成功，表明了在下游 NLP 任务中融入语言先验的有效性。然而，预训练语言模型能在多大程度上帮助对话响应生成仍待探索。在本文中，我们提出了一个简单、通用且有效的框架：交替角色对话模型（ARDM）。ARDM 分别对每位说话者建模，并利用大型预训练语言模型。它无需来自人工标注（如信念状态或对话行为）的监督即可实现有效对话。ARDM 在两个流行的任务型对话数据集 CamRest676 和 MultiWOZ 上优于或与最先进方法持平。此外，我们可将 ARDM 泛化到更具挑战性、非协作性的任务，如说服。在说服任务中，ARDM 能够生成类人响应以说服人们向慈善机构捐款。
引用
@article{arxiv.1910.03756,
title = {Alternating Recurrent Dialog Model with Large-scale Pre-trained Language Models},
author = {Qingyang Wu and Yichi Zhang and Yu Li and Zhou Yu},
journal= {arXiv preprint arXiv:1910.03756},
year = {2021}
}
备注
EACL 2021 (oral)