基于预训练RoBERTa-GPT2与外部知识的共情对话生成
计算与语言
2021-09-08 v1 人工智能
摘要
对话智能体面临的一项挑战是识别对话伙伴的感受并作出相应回复。本工作提出RoBERTa-GPT2用于共情对话生成,其中利用预训练自编码RoBERTa作为编码器、预训练自回归GPT-2作为解码器。通过预训练RoBERTa与GPT-2的结合,我们的模型实现了全新的最先进(state-of-the-art, SOTA)情感准确率。为使RoBERTa-GPT2模型具备共情能力,我们提出常识知识与情感概念提取器,从中提取对话上下文的常识性与情感性概念供GPT-2解码器使用。实验结果表明,共情对话生成同时受益于预训练编码器-解码器架构与外部知识。
引用
@article{arxiv.2109.03004,
title = {Empathetic Dialogue Generation with Pre-trained RoBERTa-GPT2 and External Knowledge},
author = {Ye Liu and Wolfgang Maier and Wolfgang Minker and Stefan Ultes},
journal= {arXiv preprint arXiv:2109.03004},
year = {2021}
}
备注
accepted at International Workshop on Spoken Dialog System Technology (IWSDS) 2021