基于预训练语言模型的知识 grounded 对话系统
计算与语言
2021-06-29 v1
摘要
我们提出了一个为第九届对话系统技术挑战赛（DSTC9）Track 1——超越领域 API：具有非结构化知识访问的任务型对话建模——开发的知识 grounded 对话系统。我们利用现有语言模型的迁移学习来完成该挑战赛道中的任务。具体而言，我们将任务划分为四个子任务，并在每个子任务上微调了若干 Transformer 模型。我们做了一些额外的改动，在性能和效率上均带来提升，包括将模型与传统实体匹配技术相结合，以及在语言模型的输出层添加指针网络。
引用
@article{arxiv.2106.14444,
title = {A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models},
author = {Weijie Zhang and Jiaoxuan Chen and Haipang Wu and Sanhui Wan and Gongfeng Li},
journal= {arXiv preprint arXiv:2106.14444},
year = {2021}
}
备注
7 pages, 1 figures