变分自编码器中离散数据的确定性解码
机器学习
2020-03-05 v1 机器学习
摘要
变分自编码器是建模离散数据的著名生成模型。然而，在使用灵活解码器时，它们往往忽略潜变量编码。在本文中，我们研究了一种用于序列数据的具有确定性解码器 (DD-VAE) 的 VAE 模型，该解码器选择得分最高的 token 而非进行采样。确定性解码完全依赖潜变量编码作为生成多样化对象的唯一途径，从而改善了所学流形的结构。为实现 DD-VAE，我们提出了一类新的有界支撑提议分布，并推导了高斯和均匀先验下的 Kullback-Leibler 散度。我们还研究了确定性解码目标函数的连续松弛，并分析了重构精度与松弛参数的关系。我们在多个数据集上展示了 DD-VAE 的性能，包括分子生成与优化问题。
引用
@article{arxiv.2003.02174,
title = {Deterministic Decoding for Discrete Data in Variational Autoencoders},
author = {Daniil Polykovskiy and Dmitry Vetrov},
journal= {arXiv preprint arXiv:2003.02174},
year = {2020}
}
备注
AISTATS 2020; GitHub: https://github.com/insilicomedicine/DD-VAE