Dior-CVAE：基于预训练语言模型与扩散先验的变分对话生成
计算与语言
2023-10-25 v2
摘要
当前的变分对话模型采用预训练语言模型（PLMs）来参数化似然分布与后验分布。然而，对先验分布所做的高斯假设与这些分布不兼容，从而限制了生成回复的多样性。这些模型还遭受后验坍缩问题，即解码器倾向于忽略潜变量，并通过交叉注意力机制直接获取编码器捕获的信息。本文提出 Dior-CVAE，一种带有扩散先验的分层条件变分自编码器（CVAE），以应对这些挑战。我们采用扩散模型来增加先验分布的复杂度及其与 PLM 所产生分布的兼容性。同时，我们对交叉注意力机制提出记忆丢弃（memory dropout），主动促进潜变量在回复生成中的使用。总体而言，在两个常用开放域对话数据集上的实验表明，我们的方法无需大规模对话预训练即可生成更多样化的回复。代码见 https://github.com/UKPLab/dior-cvae。
引用
@article{arxiv.2305.15025,
title = {Dior-CVAE: Pre-trained Language Models and Diffusion Priors for Variational Dialog Generation},
author = {Tianyu Yang and Thy Thy Tran and Iryna Gurevych},
journal= {arXiv preprint arXiv:2305.15025},
year = {2023}
}