教我说什么我便学选什么：基于预训练生成模型通过响应生成的无监督知识选择
计算与语言
2021-10-06 v1
摘要
知识 grounded 对话模型(KGCM)通常基于一个选择/检索模块与一个生成模块，分开或同时训练，无论是否可访问黄金知识选项。随着大型预训练生成模型的引入，选择与生成部分变得愈发纠缠，研究重心转向增强知识融合(来自多源)而非试图挑选最佳知识选项。然而这些方法的最佳性能依赖于知识标签和/或独立的稠密检索器。本工作中我们研究预训练生成模型(如 BART)的无监督选择能力，并表明通过在编码器与解码器间加入打分-聚合模块，它们能够借助最小化语言建模损失(即无需访问知识标签)学会挑选恰当知识。如此训练下，我们的模型——K-Mine——在选择与生成性能上可与受益于知识标签和/或独立稠密检索器的模型相竞争。
引用
@article{arxiv.2110.02067,
title = {Teach Me What to Say and I Will Learn What to Pick: Unsupervised Knowledge Selection Through Response Generation with Pretrained Generative Models},
author = {Ehsan Lotfi and Maxime De Bruyn and Jeska Buhmann and Walter Daelemans},
journal= {arXiv preprint arXiv:2110.02067},
year = {2021}
}
备注
Accepted at ConvAI workshop (EMNLP 2021)