用于知识型对话生成的多阶段提示
计算与语言
2022-03-17 v1 人工智能
摘要
现有的知识 grounded 对话系统通常使用预训练语言模型（LM）的微调版本和大规模知识库。这些模型通常无法泛化到知识库之外的主题，并且每次需要微调时都要维护单独的潜在大型检查点。在本文中，我们旨在通过利用预训练 LM 中存储的固有知识及其强大的生成能力来解决这些局限。我们提出一种多阶段提示方法，从单一预训练 LM 生成知识型回复。我们首先提示 LM 基于对话上下文生成知识。然后，我们进一步提示它基于对话上下文和先前生成的知识生成回复。结果表明，在结合知识相关性和正确性时，我们的知识生成器比最先进的基于检索的模型高出 5.8%。此外，我们的多阶段提示在回复知识性和参与度方面分别比基于微调的对话模型高出至多 10% 和 5%。进一步地，我们将模型扩展到 5300 亿参数，并展示更大的 LM 将生成正确性得分提高至多 10%，并将回复相关性、知识性和参与度提高至多 10%。我们的代码可在 https://github.com/NVIDIA/Megatron-LM 获取。
引用
@article{arxiv.2203.08745,
title = {Multi-Stage Prompting for Knowledgeable Dialogue Generation},
author = {Zihan Liu and Mostofa Patwary and Ryan Prenger and Shrimai Prabhumoye and Wei Ping and Mohammad Shoeybi and Bryan Catanzaro},
journal= {arXiv preprint arXiv:2203.08745},
year = {2022}
}