KnowPrefix-Tuning：一种用于知识 grounded 对话生成的两阶段前缀微调框架
计算与语言
2023-06-28 v1
摘要
现有的知识 grounded 对话系统通常以检索后生成的方式生成回复。它们需要庞大的知识库和强大的知识检索组件，耗时且耗资源。在本文中，我们通过利用预训练语言模型（PLMs）中编码的固有知识来应对这一挑战。我们提出知识前缀微调（KnowPrefix-Tuning），一种两阶段微调框架，通过将先验知识注入轻量级知识前缀，绕过知识 grounded 对话系统中的检索过程。知识前缀是一串连续的特定知识向量，可在训练期间学习。此外，我们提出一种新颖的交互式重参数化机制，使前缀在回复生成优化过程中与 PLM 充分交互。实验结果表明，KnowPrefix-Tuning 优于微调及其他轻量级微调方法，并与强检索基线性能相当，同时推理速度提升 。
引用
@article{arxiv.2306.15430,
title = {KnowPrefix-Tuning: A Two-Stage Prefix-Tuning Framework for Knowledge-Grounded Dialogue Generation},
author = {Jiaqi Bai and Zhao Yan and Jian Yang and Xinnian Liang and Hongcheng Guo and Zhoujun Li},
journal= {arXiv preprint arXiv:2306.15430},
year = {2023}
}
备注
Accepted by ECML-PKDD 2023 (Research Track)