通过混合潜变量实现多样、相关且连贯的开放域对话生成
计算与语言
2022-12-05 v1 人工智能
摘要
使用连续或离散潜变量的条件变分模型在开放域对话回复生成中十分强大。然而，先前工作表明连续潜变量往往降低生成回复的连贯性。在本文中，我们也发现离散潜变量难以捕捉更多样化的表达。为解决这些问题，我们结合连续与离散潜变量的优势，提出混合潜变量（Hybrid Latent Variable, HLV）方法。具体而言，HLV 通过离散潜变量约束回复的全局语义，并用连续潜变量丰富回复。从而，我们在保持相关性与连贯性的同时使生成回复多样化。此外，我们提出条件混合变分 Transformer（Conditional Hybrid Variational Transformer, CHVT）来构建并利用 HLV 进行对话生成。通过细粒度符号级语义信息和加性高斯混合，我们构建连续变量分布，促进多样化表达的生成。同时，为保持相关性与连贯性，离散潜变量通过自分离训练进行优化。在两个对话生成数据集（DailyDialog 和 Opensubtitles）上的实验结果表明，CHVT 在多样性、相关性和连贯性指标上优于传统的基于 Transformer 的变分机制。此外，我们也展示了将 HLV 应用于微调两个预训练对话模型（PLATO 和 BART-base）的益处。
引用
@article{arxiv.2212.01145,
title = {Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation via Hybrid Latent Variables},
author = {Bin Sun and Yitong Li and Fei Mi and Weichao Wang and Yiwei Li and Kan Li},
journal= {arXiv preprint arXiv:2212.01145},
year = {2022}
}
备注
Accepted by AAAI 2023