融合ConceptNet的DialoGPT用于对话响应生成中的底层常识理解与推理
计算与语言
2022-10-03 v1
摘要
尽管预训练对话模型使用了海量数据集进行预训练，其仍未能捕捉对话交互中隐含的常识（CS）知识。为构建具备CS能力的对话智能体，我们首先将外部知识注入预训练对话模型，通过高效的Adapter调优建立基础常识（第4节）。其次，我们提出“双向学习”方法以实现CS知识与句子对之间的双向关系，使模型能给定CS三元组生成句子，也能给定句子生成底层CS知识（第5节）。最后，我们利用该集成CS能力改进开放域对话响应生成，使对话智能体能够在推断相关其他知识以进一步引导响应生成的基础上，理解对话历史中隐藏的CS知识（第6节）。实验结果表明，CS_Adapter融合助DialoGPT能够生成系列CS知识。且源自CommonGen训练的DialoGPT+CS_Adapter响应模型可生成更契合对话上下文的底层CS三元组。
引用
@article{arxiv.2209.15109,
title = {ConceptNet infused DialoGPT for Underlying Commonsense Understanding and Reasoning in Dialogue Response Generation},
author = {Ye Liu and Wolfgang Maier and Wolfgang Minker and Stefan Ultes},
journal= {arXiv preprint arXiv:2209.15109},
year = {2022}
}
备注
this is a long paper, the short version was accepted by SemDial 2022