基于 Transformer 的条件变分自编码器用于对话生成
计算与语言
2022-10-25 v1 机器学习
摘要
在人类对话中，单个查询可能引发众多合适的回复。基于 Transformer 的对话模型由于是一对一映射函数，会生成语料库中频繁出现的句子。CVAE 是一种减少通用回复的技术。本文中，我们创建了一种基于带 CVAE 结构的 Transformer 的新对话模型（CVAE-T）。我们使用预训练的 MLM 模型重写回复中的一些关键 n-gram 以获得一系列负例，并在训练时引入正则项以显式引导潜变量学习每对正负例之间的语义差异。实验表明，我们设计的方法能够生成更具信息量的回复。
引用
@article{arxiv.2210.12326,
title = {Transformer-Based Conditioned Variational Autoencoder for Dialogue Generation},
author = {Huihui Yang},
journal= {arXiv preprint arXiv:2210.12326},
year = {2022}
}