从大规模预训练模型中引导知识用于无监督知识驱动对话
计算与语言
2022-11-09 v2
摘要
大规模预训练的最新进展使大模型具备从原始文本中学习知识的潜力。因此自然会问，是否可利用这些大模型作为下游任务的知识库。本文在无监督知识驱动对话中回答上述问题。我们探索了能从大模型中最佳引导知识的多种方法。人工研究表明，尽管存在幻觉，大模型具有能输出常识并总结搜索引擎无法直接检索的事实这一独特优势。为更好在对话生成中利用此类生成知识，我们将生成知识视为噪声知识源，并提出基于后验的重加权及噪声训练策略。在两个基准上的实证结果显示其优于最先进方法。
引用
@article{arxiv.2211.01587,
title = {Eliciting Knowledge from Large Pre-Trained Models for Unsupervised Knowledge-Grounded Conversation},
author = {Yanyang Li and Jianqiao Zhao and Michael R. Lyu and Liwei Wang},
journal= {arXiv preprint arXiv:2211.01587},
year = {2022}
}
备注
Accepted to EMNLP 2022 Main Conference. The code is publicly available at https://github.com/lyy1994/PLM_as_KB/tree/main/projects/plm_as_kb