RegaVAE：一种用于语言建模的检索增强高斯混合变分自编码器
计算与语言
2023-10-24 v2
摘要
检索增强语言模型在解决语言模型（LMs）中过时信息与幻觉等问题上展现出前景。然而，当前研究面临两个主要问题：1）确定检索什么信息；2）在生成时有效融合检索到的信息。我们认为，有价值的检索信息不仅应与当前源文本相关，还应考虑未来的目标文本，这是由 LMs 建模未来词元的本质所决定的。此外，我们提出，利用从紧凑潜空间中导出的潜变量进行聚合，比使用受上下文长度限制且易受噪声干扰的显式原始文本更高效。因此，我们引入 RegaVAE，一种构建于变分自编码器（VAE）之上的检索增强语言模型。它将文本语料编码至潜空间，捕获源文本与目标文本的当前与未来信息。另外，我们利用 VAE 初始化潜空间，并将检索生成范式的概率形式扩展为将高斯先验分布变为高斯混合分布。理论分析给出了 RegaVAE 的可优化上界。在多个数据集上的实验结果表明，文本生成质量与幻觉消除均有显著提升。
引用
@article{arxiv.2310.10567,
title = {RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling},
author = {Jingcheng Deng and Liang Pang and Huawei Shen and Xueqi Cheng},
journal= {arXiv preprint arXiv:2310.10567},
year = {2023}
}
备注
Accepted to the Findings of EMNLP 2023