重置一个固定的有缺陷的ELBO
机器学习
2023-12-13 v1 机器学习
摘要
变分自编码器（VAE）是一类基于已知数据进行推理的生成式概率潜变量模型。它们平衡了重构项和正则化项。变分近似产生证据下界（ELBO）。将正则化项乘以beta得到beta-VAE/ELBO，改善了潜空间的解缠。然而，任何不等于1的beta值都违反了条件概率定律。为了提供一个类似参数化的VAE，我们开发了一个基于Renyi熵（而非Shannon熵）的VAE，以及一个引入类似参数的变分近似RELBO。Renyi VAE有一个额外的类似Renyi正则化项，其条件分布不是学习的。该项基本上通过奇异值分解方法进行解析评估。
引用
@article{arxiv.2312.06828,
title = {Resetting a fixed broken ELBO},
author = {Robert I. Cukier},
journal= {arXiv preprint arXiv:2312.06828},
year = {2023}
}