利用Transformer量化变分自编码器改进离散潜在空间中的语义控制
计算与语言
2024-02-02 v1
摘要
实现对变分自编码器（VAE）潜在空间的精确语义控制对于自然语言处理中的下游任务具有重要价值，因为可以更好地定位、解释和改进底层生成机制。然而，最近的研究难以获得一致的结果，主要原因是变分瓶颈中语义信息的不可避免损失以及对解码机制的控制有限。为了克服这些挑战，我们研究了向量量化变分自编码器（VQVAE）中的离散潜在空间，以改进基于Transformer的VAE中的语义控制和生成。具体而言，我们提出了T5VQVAE，一种新颖的模型，利用VQVAE的可控性在token级别引导T5中的自注意力机制，充分利用其泛化能力。实验结果表明，T5VQVAE在可控性和语义信息保留方面优于现有的最先进VAE模型（包括Optimus），在句子和数学表达式的自动编码、文本迁移和推理等不同任务上均表现优异。此外，T5VQVAE展现出改进的推理能力，表明其在自然语言和符号推理下游任务中的潜在应用。
引用
@article{arxiv.2402.00723,
title = {Improving Semantic Control in Discrete Latent Spaces with Transformer Quantized Variational Autoencoders},
author = {Yingji Zhang and Danilo S. Carvalho and Marco Valentino and Ian Pratt-Hartmann and Andre Freitas},
journal= {arXiv preprint arXiv:2402.00723},
year = {2024}
}